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自 1907 年 苏联 数学 家 A. A. Mapkos 引出 马尔 科 夫 链 概念 ,并 开始 进行 研究 以 来 , 经 过 
世界 各 国 几 代数 学 家 的 相继 努力 ,其 中 特别 是 B. YL PoMatropcklt 关 、A.H.Kovpxoropon ,W, Doe- 
blin、J.L. Poob、P. Lévy 、W. Feller、 钟 开 莱 (Kai Lai Chung)、 王 梓 坤 等 著名 学 者 的 代表 性 
工作 与 卓越 贡献 ,使 得 马尔 科 夫 链 目前 已 成 为 内 容 十 分 丰富 理论 上 相当 完整 的 数学 分 支 , 星 
现 出 一 派 根深 叶 茂 生机 勃发 的 景象 。 而 且 在 科学 研究 、 发 展 生产 、 改 进 技术 、 社 会 服务 等 
各 个 方面 ， 马 尔 科 夫 链 理论 已 经 成 为 强 有 力 的 数学 工具 、 广 泛 地 被 应 用 于 物理 、 化 学 、 生 
物 、 和 天文、 气象、 地质、 控制、 计算机、 通信、 随机 服务 、 经 济 、 管 理 、 教 育 等 等 众多 领 
域 之 中 ， 理 论 与 应 用 的 成 果 层 出 不 穷 ， 真 可 谓 遍 好 开花 硕果 累累 。 

本 书 主 要 面向 应 用 数学 专业 与 非 数学 专业 的 高 年 级 学 生 或 研究 生 以 及 广大 的 科技 工作 
者 ， 介 绍 马尔 科 夫 链 的 基础 理论 与 应 用 方法 ， 以 期 达到 学 以 致 用 的 目的 。 全 韦 的 内 容 可 分 
为 三 大 部 分 。 第 一 部 分 包括 第 1、2、3、4、5、8 章 ， 这 是 马尔 科 夫 链 的 基本 概 您 与 基础 理 
论 部 分 。 对 于 状态 空间 是 有 限 的 或 是 可 列 无 限 的 、 对 时 间 是 齐 次 的 或 是 非 齐 次 的 、 对 参数 
是 离散 的 或 是 连续 的 等 各 种 情况 都 进行 了 论述 ， 花 其 是 对 于 实践 中 常见 的 状态 有 限 但 又 很 
多 的 大 马尔 科 夫 链 及 有 关 的 新 近 成 果 给 予 了 特别 的 关注 。 在 这 一 部 分 里 ， 始 终 都 围绕 着 马 
尔 科 夫 链 的 转移 规律 及 其 稳定 性 能 分 析 这 个 具有 实际 意义 的 中 心 议题 展开 讨论 。 第 二 部 分 
概括 了 研究 与 应 用 马尔 科 夫 链 的 几 种 主要 方法 ， 即 解析 方法 、 代 数 方法 、 数 理 统计 方法 与 
计算 机 分 析 方 法 , 前 两 种 方法 贯穿 在 全 书 之 中 , 后 两 种 方法 分 别 在 第 6、7 两 章 中 作 了 简要 
的 介绍 。 在 当今 应用 马尔 科 夫 链 去 解决 实际 问题 的 过 程 中 ， 这 些 方法 都 是 必 不 可 少 的 。 由 
第 9 章 构成 的 第 三 部 分 收集 整理 了 分 布 在 许多 不 局 领域 里 的 应 用 实例 ， 它 们 可 以 作为 捕捉 
实际 问题 的 本 质 、 进 行 合 理 的 简化 和 假设 、 建 立马 尔 科 夫 链 模型 、 应 用 理论 求 得 解答 并 给 
出 问题 解释 的 典范 。 这 是 赋 有 普遍 指导 意义 的 。 掌 握 这 些 内 容 不 仅 可 以 对 马尔 科 夫 链 这 一 
数学 分 支 的 重要 意义 、 基 本 概念 、 基 本 理论 、 基 本 方法 及 其 整体 框架 有 一 个 系统 的 了 解 , 而 
且 也 为 读者 进一步 学 习 和 应 用 诸如 马尔 科 失 链 的 极限 定理 、 构 造 理论 与 随机 模拟 等 既 有 理 
论 意义 又 有 实用 价值 的 专题 知识 黄 定 必要 的 初步 基础 。 

本 书 是 在 几 次 为 开设 选修 课 而 编写 的 讲稿 的 基础 上 ， 参 考 了 国内 外 有 关 资 料 ， 经 过 修 
改 、 充 实 、 加 工 而 成 。 对 书 中 的 大 多 数 结论 都 给 出 了 详 密 的 论证 各 推导， 即使 未 作 严 格 证 
明 的 论断 一 般 都 指明 了 出 处 ， 以 备 读者 查阅 。 特 别 地 ， 对 一 些 重要 的 概念 和 结论 ， 婚 强调 
它们 的 实际 意义 ， 又 尽力 给 出 恰当 的 直观 解释 。 只 要 读者 具有 一 般 微 积 分 、 线 性 代数 、 概 
率 统计 的 基础 知识 便 可 阅读 本 书 ， 领 会 并 运用 书 中 的 内 容 与 方法 。 

关于 书 中 采用 的 记号 带 作 如 下 的 说 明 ， 凡 是 在 论述 中 要 引用 前 面 或 后 面 所 前 明 的 内 容 
时 ， 我们 用 记号 “I. 8 2”、“1. 《50)”、“^1. 定理 3” 依 次 表示 第 一 章 的 第 2 节 、 式 (50)、 定 


理 3， 而 用 记号 “8 2”、“ (50)”"、“ 定 理 3”、“ 表 1”、“ 图 2” 依 次 表示 本 章 的 第 2 节 、 式 
《50)、 定 理 3:、 表 1、 图 2。 

正当 书稿 完成 之 时 ， 作 者 怀 着 十 分 崇敬 的 心情 深 深 地 感激 母校 南开 大 学 的 恩师 们 ， 是 
他 们 为 作者 敞开 了 数学 之 门 、 疯 定 了 数学 基础 ， 并 在 治学 态度 与 治学 方法 上 给 予 作者 以 深 
远 的 教 益 ， 这 样 才 使 作者 能 够 从 前 人 的 工作 中 吸取 丰富 的 思想 知识 的 结晶 ， 完 成 本 书 的 写 
作 任 务 。 . 
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此 向 他 们 表示 诚挚 的 感谢 。 
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第 一 章 ”马尔 科 夫 和 链 的 基本 概念 


$1 马尔 科 夫 链 的 定义 


被 人 们 所 考察 的 随 着 时 间 推移 而 随机 变化 的 实际 系统 2, ， 常 常 是 在 知道 了 之 /现在 所 
处 的 状态 之 下 ， 之 /将 来 的 演变 与 其 过 去 的 经 历 是 独立 无 关 的 。 例 如 , 波 耳 气 原 子 模型 中 的 
电子 可 以 处 在 不 同 能 级 的 轨道 上 运动 , 如 果 已 知 在 时 刻 上 此 电子 处 在 第 ;号 轨道 上 , 那么 在 
下 一 个 时 刻 4 (>&) 此 电子 跳 到 第 j 号 轨道 上 ， 这 事件 与 以 前 6<6<…<#-， (<4) 各 
个 时 刻 它 处 在 哪 号 轨道 上 的 历史 是 独立 无 关 的 。 又 如 ， 生 物 基因 遗传 从 这 一 代 到 下 一 代 的 
转移 中 仅 有 赖 于 这 一 代 而 与 以 往 各 代 无 关 。 再 如 ， 每 当 评 估 一 个 复杂 的 计算 机 系统 的 性 能 
时 ， 就 要 充分 利用 此 系统 在 各 个 时 刻 作 状 态 演变 通常 所 具有 的 概率 特性 ， 即 系统 下 一 个 将 
达到 的 状态 ， 仅 依赖 于 目前 所 处 的 状态 ， 而 与 以 往 处 过 的 状态 无 关 。 此 外 ， 考 察 某 公 司 的 
经 营 状况 每 月 进行 一 次 ， 该 公司 下 个 月 销路 好 和 差 一 般 只 与 本 月 的 销路 有 关 ， 而 与 以 前 销 
售 情 况 无 关 。 诸 如 上 述 广 样 一 类 具有 所 谓 无 后 效 性 的 随机 系统 在 信息 、 控 制 、 计 算 机 、 物 
理 、 生 物 遗 传 、 心 理 、 经 济 、 社 会 等 科学 领域 中 ， 在 工程 系统 的 可 靠 性 分 析 、 随 机 服务 系 
统 的 排队 分 析 、 商 业 库 存 管理 、 市 场 预测 、 产 品 品 种 转换 选择 、 不 同 阶层 的 社会 流动 等 等 
众多 的 应 用 研究 中 时 时 出 现 屡见不鲜 。 为 了 满足 实际 应 用 的 需要 ， 首 先 必须 应 用 数学 的 语 
言 与 工具 对 这 些 实际 系统 作出 正确 的 定量 描述 ， 进 而 揭示 出 这 些 系 统 在 状态 的 转移 中 普遍 
存在 的 内 在 统计 规律 。 由 此 引出 了 本 章 中 的 一 系列 基本 概念 。 

相对 于 一 随机 试验 , 设 8 是 由 所 有 样本 点 {@) 构成 的 样本 空间 ,7” 是 9 上 所 有 随机 
事件 构成 的 事件 集合 称 为 o -代数 ,是 定义 在 .多 上 的 概率 测度 即 概率 。 称 定义 在 概率 空间 
(8@， 色 ，P) 上 的 随机 变量 族 X= {Xi(w)，、tET}) 为 一 随机 过 程 ， 其 中 7 为 一 参数 集 ， 若 
7 是 一 个 含有 可 列 多 个 元 素 的 无 限 集 , 例如 {X,(%) ,一 0，1，…} 称 为 离散 参数 的 随机 过 
程 或 随机 序列 ， 若 了 是 不 可 列 无 限 集 ， 例 如 {X.(o)，! 尝 0) 称 为 连续 参数 的 随机 过 程 。 一 
随机 过 程 所 有 可 能 取 值 的 集合 称 为 该 过 程 的 状态 空间 , 记 作 8, 如 果 8 是 可 列 集 或 有 限 集 ， 
则 称 此 过 程 为 链 。 可 将 随机 过 程 看 作 是 两 个 变量 的 函数 X.(w) 二 X(t，6),tE7T，wE 9， 对 
国定 的 o，XiCw) 是 定义 在 四 上 的 + 的 函数 ， 称 为 该 过 程 的 一 个 样本 ， 对 固定 的 4， Xi(w) 
是 一 个 随机 变量 , 常 简 记 为 X,, 若 将 参数 1 看 作为 时 间 , 那么 X, 就 表示 随机 系统 之 ,在 时 刻 
i 所 处 的 状态 。 
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定义 设 X= (人 ，z 一 0，1，…) 是 定义 在 (9, 多，P) 上 的 离散 参数 的 随机 过 程 ， 
其 状态 空间 8 为 可 列 集 或 有 限 集 , 如 果 关 其 有 由 下 式 定 义 的 马尔 科 夫 性 (或 无 后 效 性 ) : 即 
对 任意 的 非 负 整 数 *， 及 任意 的 状态 i， 生 ，…，n€E5， 只 要 P 〈Xo 一 ip，X 一 总 ，…，X 
二 i) >0， 总 有 
PC(X = br) Xo 一 加 = ,eX, = i) 
一 P(X = bti|X, = i) (1) 
成 立 ， 则 称 X 为 离散 参数 的 马尔 科 夫 链 . 若 8 为 可 列 集 或 有 限 集 ， 则 称 X 分 别 依次 为 离散 
参数 的 可 列 马 尔 科 夫 链 和 有 限 马尔 科 夫 链 。 式 (1) 的 直观 意义 可 解释 为 : 已 知 随机 系统 绩 之 1 
在 现时 刻 处 于 状态 i， 即 事件 “X,=i,” 已 发 生 的 条 件 之 下 ,在 将 来 4 十 1 时 刻 之 ;处 于 状 
态 +r! 的 事件 “X41 二 t+” 与 之 /在 过 去 0，1，…，7? 一 1 等 时 刻 的 经 历 即 事件 “Xe 一 mp，Xi 
二 "X11 二 -1” 是 条 件 独立 的 。 等 式 (D 仅仅 是 用 来 定义 马尔 科 夫 性 的 一 种 形式 , 下 
面 的 定理 将 给 出 马尔 科 夫 性 的 其 它 等 价 形式 。 为 简便 起 见 ， 以 后 分 别称 马尔 科 夫 性 和 马尔 
科 夫 链 为 马 氏 性 和 马 氏 链 。 
定理 1 设 X= {X,, n=0, 1, …) 是 定义 在 (98， 多 ，P) 上 的 随机 序列 ，X 的 状态 
空间 5 是 可 列 集 或 有 限 集 ， 则 下 列 陈述 互相 等 价 ， 
GD X 是 离散 参数 的 马 氏 链 ， 即 式 (1) 成 立 。 
Gii) 对 任何 正 整 数 *,， 任何 非 负 整数 列 ，0 志 4 过 4 之 之 4+ 及 任何 记 s 说 ES， 
恒 有 
PK = bri[X, = oy Xs = i 一 站) 
= P(X = hnlX, 一 加) 。 (2) 
这 里 自然 要 求 P (Xi =io, Ki = XK =) > 盖 0， 以 后 不 再 一 一 声明 。 
《iiiy 对 任何 正 整 数 za 及 任何 加 ，i，…，irES， 恒 有 
PlXo 一 加 Xi = hy Kt = +t) 
= P(Xo 一 加)P(XI = |X 一 加 PCX 一 it 一 让。 (3) 
(iv) 对 任何 正 整 数 a, 任何 非 负 整 数列 : 0 委 jb<6<…<44+1 及 任何 ji， ，5rES， 
恒 有 
PCX = oy Xe = i Xe, = hot) 


一 P(X 一 加 ) 忆 (Xu = |X。 一 to0) "POX 一 ht+l [Xs 一 4 ) 


十 1 


一 PY = DPOX, = 和 Xe = "PX, = nlX, = 6), (4) 


(v) 对 任何 正 整 数 RnR, mm, 任何 非 负 整数 列 ， 0 委 j he 任何 
toy by is+aEGS, 恒 有 
P(X 一 bt 一 b+m| Xu 一 io 一 加) 
一 PX ， 一 ti 一 btm [Xe 一 ) 0 《5) 


Cvi) 对 任何 正 整数 RnR, mn, 任何 非 负 整数 列 : 0 ht 以 及 任 
何 j， 81 t+m 和 9， 恒 有 
PCOX, 一 lo， ,入 一 bl > Xe 一 ls 人 一 + Xe 一 i ) 


+1 
= P(X, = ioy sXe = bi 一) 


-1 
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X PO = hp Ke = ht |X = h) 。 (6) 


(vii) 对 任何 正 整数 RnR, 和 49 任何 非 负 整数 列 0< 委 有 < 有 < 到 < 有 HI< < 和 my 以 及 任 
何 有， 4149 加 tly 机 + 世人， 恒 有 
P(X 一 各 = bl 1 一 和 全 


一 和 1 一 tm) 


1 下 十 星 


= P(X = i Xb 一 让 | 一生) 。 (7) 
(viii》 对 征 何 正 整 数 # 及 任何 iES, 记 多 (Xs，0<tRn 一 1) 是 由 Xo。，…，X.-! 生 成 
的 最 小 -代数 ， 即 包含 9 及 一 切 形 如 (o: 计 (w) 二 放 ，0 志 kn 一 1，jE58 的 集 ， 并 对 
取 余 及 可 列 并 运算 封闭 的 最 小 集 类 , 又 记 多 (Xi, k 尝 x 十 1) 是 由 六,41，Xu+z，… 生 成 的 最 
小 o- 代 数 ， 则 对 任何 AE FH (Xi, 0< 必 2 一 1)， BE (Xi, kn+1), 恒 有 
PCB|A,X, =i) =P(B|IX,=i), (8) 
(ix) 对 任何 正 整 数 as， 任何 ES， 以 及 任何 4€E F(X 0<kn 一 1),， BE (Xi, 上 
之 t 十 1 )， 和 恒 有 
P(AB{IX, =i) = P(AIX, = i)P(BIX,=1)., (9) 
(x) 对 任何 正 整 数 za， 任何 4ES， 以 及 任何 4E 多 (后 ，0 委 一)，DE. (Xs, 上 
之 x 十 1)， 恒 有 
P(A|X, =i,B) = P(AIX, =i) 。 (10) 
证 我 们 将 按 图 1 的 线路 图 所 示 的 顺序 关系 证 明定 理 。 


Om 《Vi 
(DN) Vi) (xX) 一 一 一 (CiX)- 一 一 一 (vi) 
(Y) (v) 一 一 
1 


(iD 是 Gi) 的 御 代 ,元 Gi) 一 (CD 显然 。 现 证 (i) 一 (i)， 为 简明 起 见 不 失 一 般 性 
可 取 一 1，hb=1， 6 一 3，45 一 5 的 情形 证 明 即 可 。 由 概率 乘法 定理 及 式 〈1) 便 有 
P(Xo 一 jos Xi = io, Xs 一 六 = ,Ks = jo Xs = i) 
= P(X = jo, Xi = to XX? = ,Xs =) 
x P(X = jlXo = jsXi = os Xz = ,Xs = 6) 
X P(Xs = ilXo = jo Xi = oo KX = ji Xs = ,X= j) 
= P(X = jo, Xi 一 加)X = N11,X3 = P(X 一 jz | Xs 一 三 ) 
Xx PlXs = il|X = j), 
在 上 面 等 式 两 边 对 加 ，jb，7j， 天 ES 求 和 以 及 对 各 ， 记 ,和 EE 马 求 和 和， 由 概率 的 完全 可 加 性 
分 别 得 到 : 
POXs = i Ks = 6) = P(Xs = i) DP 一 六 [Xe = i)P(Ks = {X= h) 


jes 
PCOX!; = io, Ks = UKs =i) = P(X = i Xs = i) 
X DPCX = jlXs = i)P(Xs = olX, = %), 
jE 
比较 以 上 两 式 便 有 : 对 任何 io, i ,iES 
P(Xs = ia |X! = io, Xs 一 加) = P(X 一 ia 一 局 )， 
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即 式 《2) 成 立 。 一 般 情形 完全 类 似 可 证 。 


现 证 (Gi) 一 〈iv)， 由 概率 乘法 定理 及 式 〈2) 
POXe 一 [人 = i .4 一 如 及 一 in+1) 


= PX, = 和 大 = by Ke = P(X, = bri| Xs, = i Xe = i Ke = bh) 
= PX, 一 iio = i Ke = P(E = ht |X 一 各)。 
再 重复 此 手续 " 次 ， 并 利用 概率 的 完全 可 加 性 就 得 式 〈4)。 
现 证 (iv) 一 〈v)， 由 式 〈4) 
PC(X = hp Ke = bpm [Xe 一 和 Ke = 6) 
_ POX = oy 一 hy hes = ti Ko, = btm) 


P(X 一 09 = %) 


EPOX® = ii) POX, = bX = PO = bn |X = i)" 


Xx PCX。 一 和 +a|XX 。， 一 tm] 一 [PCX。 一 bo) 
XxX POX 一 i |X 一 2 


一 POX 一 b+1 | 一 iePCX 一 atm | Xe 三 hm-1) 
X POX, = btis rs Ye,, = btnl Xs = i) 
POX, = .4 = 和 Hi 2 一 加 + 
P(X = 六) 
已 (和 一 POX 一 和 +1 .0 一 PX, 一 itm |X = 和 +) 
本 POX, 一 如) 
比较 以 上 两 式 即 得 式 (5)。 


因为 (i 是 (Y) 的 特例 , 故 (v) 一 Gi) 显然 。 而 (i) 是 liv) 的 特例 ， 故 《iv) 一 
《ii) 显然 。 
现 证 Gii) 一 GD， 由 式 (3) 
已 (Xi = b+il Xo = io, Xl = "XN, =) 
P(Xo = i)POX = [Xo = 加) POX, = Xi = PX = ht |X, = ) 


P(Xo = 加 )P(XI = IX = 1) "P(X, = % | Xi = 和 -1) 
一 忆 (X 1 一 人 | 一 $4) 


现 证 (viii) -> (x)， 由 式 (8) 


;XX, 三 一 BIA,X, 一 ; 
PAIX 一 证 下 一 = 2 PCB| i) 


POX. = i,B) 
__ P(A,X, = PB 一 让 , 
= POX = i BY = PAIX, =0), 


即 式 (10) 成 立 。 
现 证 (x) 一 (ix)， 由 式 (10) 
~ P(A,X, = i,B) 
P(A BIX,=0i) = p= 


_ P(X, =i,B) , P(AJX, = i) 
POX, = i) 


= P(AIX, = PC(BIX, = i), 
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即 式 (9) 成 立 。 
(vi) 是 《ix) 的 特例 ， 故 (ix) => (vi) 显然 。 下 证 (vi) -> (Vv), 由 式 (6) 
PCX4 = ti Ki = +n | Xo 一 KC= 4) 

加 已 (大 一 加 一 bX 一 tl 


P(X, = 1 [9.0 一 名 ) 


一 tm) 
= P(R 一 i Ke = hb] KX = PK, = ht Ko, = htal Xs, = 6) 
X POX = /PX 一 io X, = i) 
一 PCX 
即 式 (5) 成 立 。 
现 证 (v) 一 (viii)， 应 用 ~ 系 方法 证 明史。 对 任意 给 定 的 正 上 整数 及 任何 iE8， 记 
= {C= (Xs = Xs = 让): 正 整 数 /过 ， 
非 负 整数 0 二 之 下 之 Si 之 ni hE 58}, 
DD= (DD= CX 一 7 一 思 ): 正 整数 m, 
正 整 数 # 之 过 一 之 纪 , 有 ,加 EE 5}， 
由 式 (5) 知 : 对 任何 CE 多， 任何 DE 如 ， 都 有 
P(OCID,X = 1) = PDIX, = D0), 
现在 任意 固定 一 入 E 锡 ， 令 
= {0:0CC9, 使 PCD|C,X, = 让 = PODIX. = 00)), 
易 验 证 如 是 1- 系 , 宫 是- 系 , 而且. 睁 全 名, 故 妊 全 灾 (多 ) = 0 雪上 委 一 1)0， 
这 就 表示 对 任 一 特定 的 了 3E 吉 ,及 任何 4E F(X,，0<&h<n 一 1) 有 
PD|A,X, =i) = PPDIX, = i),。 
现在 对 任意 特 指 的 4E 多 (X，0<t<n 一 1), 令 
和 M= {D:DG 9, 使 PCD1A,X,=) = PC(DIX. = 人)， 
易 验 证 叶 是 4- 系 , 如 是 x- 系 , 并 由 前 面 已 证 之 结果 知 叶 己 多 ,故园 必 久 (BD) = 久 (Xi， 
kx 十 1)50， 综 上 所 证 ， 即 得 式 〈8) 成立。 
《vii) 是 (x) 的 特例 ， 厦 (x) 一 (vii) 显然 。 最 后 证 (vii) -一 《vi)， 由 式 (7) 
P(X = oy Xe, = bi Xe, 


1 二 CoE 三 tt | Xs 一 和) ， 


一 +l 9 


4 十 加 一 btn |X, 一 总 


一 加 1 2 一 ttm) /PX 一 如 ) 


1 
一 P(X, 一 10，… se, 一 加 一 19 全 一 LTD. 7 

P(X = 1 sXe 一 bl Xs 一 bX 一 tie" 一 btm) 
和 POX 一 如 .0 


x POXe 一 i Ks = pir Ke 
PU = i) 


1 
1 一 is" ，X 一 tw) 
。 一 tm) 


a 


= P(X 关 io 一 bl |X。 一 和 PC(X 天 bt = btm [Xe = )， 

即 式 (6) 成 立 。 按 照 线路 图 所 示 的 逻辑 关系 ， 任 何 两 陈述 都 是 相互 等 价 的 ， 定 理 证 完 ， 
注 1 在 定理 1 中, 除了 定义 形式 kiiD 与 〈iv) 是 用 随机 序列 的 有 限 维 联合 分 布 来 表 
述 的 之 外 ， 其 它 定 义 形式 都 是 通过 条 件 概率 来 刻画 马 氏 性 的 ， 尽 管 这 十 种 定义 从 表面 形式 
上 来 看 有 强 有 弱 ， 但 是 实际 上 都 是 等 价 的 ， 有 具体 使 用 时 ， 应 当 针对 不 同 的 场合 选择 适宜 的 
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注 2 定义 形式 〈i)、(Cv) 、CviiD 说 明 在 已 知 X, 一 :的 条 件 下 ,系统 过 去 的 历史 不 仅 对 

一 步 转移 是 独立 的 、 对 它 将 来 的 任何 转移 都 是 独立 的 。 

注 3 定义 形式 (vi) 与 〈ix) 具有 对 称 性 ， 正 因为 如 此 ,如果 随机 序列 (Xe，Xi，…， 
X.，X+i，…} 是 马 氏 链 , 那么 按照 相反 的 顺序 重新 考虑 {XXX ，… Xi，Xo}， 则 
它 仍 是 马 氏 链 ， 等 价 定义 形式 (vii)、(x) 正 说 明了 这 一 点 。 

注 4 在 等 价 定义 形式 (vii)、(ix)、(x) 中 ,实际 上 可 取 4E 久 (XK, 0<kSn) ,BE 
CX， 上 之 n) 结论 仍 成 立 55 。 

马 氏 链 的 本 质 概率 特征 是 马 氏 性 ， 而 定理 1 指出 马 氏 性 需 用 诸如 了 P(X,+m 二 XX, 二 让 、 
n 之 0,m>>0, i，j€5 的 条 件 概 率 来 表征 ， 因 此 下 一 节 将 对 这 些 条 件 概 率 展开 讨论 。 


$2 转移 概率 


定义 设 X= (Kx 一 0，1，…)} 是 马 氏 链 ， 其 状态 空间 8 不 妨 取 为 {1，2，…} 或 
tl 2，…，N)， X 在 时 刻 # 处 于 i 状态 的 条 件 下 , 经 过 mw 步 转移 ,在 时 刻 4 十 mr 到 达 j 状态 
的 条 件 概 率 PCX,+w==j|X,== 让 称 为 XX 的 m 步 转 称 概率 ， 记 为 pyCr，z 十 m) 或 p99， 以 wy 
Gi, jE5) 作为 第 i 行 第 j; 列 的 元 素 排 成 的 矩阵 .Pm 会 [.p 加 ] 称 为 X 的 mm 步 转移 概率 矩阵 ， 
当 双 二 1 时, 将 .p29 、.P 中 分 别 依 次 简 记 为 ,py、:P。 叉 规定 ,p 加 二 05， i jES， 即 .P=1 (单位 
和 矩阵) 。 | 

对 任 一 方 阵 R= [ro], 如 果 每 个 元 素 rs 均 为 非 负 实 数 ， 而且 每 一 行 上 的 元 素 之 和 书 irs 
均 为 上 则 称 此 方 阵 为 随机 和 矩阵， 易 验 证 随机 和 矩阵 只 有 下 列 基本 性 质 ， 

(1) 天 的 任意 次 守 有 3 mn 一 1，2，… 都 为 随机 和 矩阵 。 

(2) 如 果 了 的 各 行 沸 对 应 相等 ， 即 几 = 一 六 ，i 之 1， 则 

及 一 有 一 一 及 和 (11) 

对 于 X 的 mn 步 转移 概率 和 矩 阵 .P" = [.p 包 ]， n= 二 0, 1，…， 由 概率 的 非 负 性 与 完全 可 加 

性 ， 有 ,p 站 宇 0，i，jE 访 ,而且 
DP = > P(X = jlX, =0) = PY = DI, = 二 1 (12) 


jE 


均 ,P"，n 宕 0，m 之 1 痢 是 随机 矩阵 ， 而 且 它 们 还 具有 下 面 更 重要 的 性 质 ， 
定理 2 对 任何 正 整 数 m,! 及 非 负 整数 a, 马 氏 链 的 转移 概率 矩阵 .PP roP ” 满 
足下 列 方程 : 


,PtD 二 .Pon Po ， (13) 
即 一 和 2 po as， i, jES, C14) 


称 式 (13) 或 (14) 为 切 普 曼 - 柯 尔 莫 哥 洛 夫 (Chapman 一 KOJIMOrTOPOB) 方程 , 简称 为 C 一 
方程 。 
证 ”由 概率 的 完全 可 加 性 与 马 氏 性 有 
多 1 一 POXtntt = 7|X, = i) 


2) PCX, 一 btm 一 Es Xmtt = 7 
和 P(X, 一 .OE 一 £) 


tiES 
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PX i Xtn ok 
P(X, = i) 


= >, 人 o 


注 C-K 方 程 的 概率 意义 直观 上 是 容易 理解 的 ， 即 系统 之 /从 状态 ;经 mn 十 ! 步 转移 到 
态 j, 可 以 先 从 i 经 mn 步 转移 到 ,然后 , 再 由 4 经/ 步 转移 到 ;两 次 转移 来 完成 , 但 是 C 
-K - 放 丰 不 是 对 任何 风机 序列 都 请 中 的 有 了 马 氏 性 才能 保证 C - K 方程 的 成 立 。 
利用 C-K 方程 及 归纳 法 立即 可 得 下 面 的 推论 。 
推论 ”对 任何 非 负 整数 a， 正 整数 名 及 任何 i。jE 8 


py+ ) 一 
" 之 4 本 
一 4) 
一 Sl > + ) 
jes jes 


2 Pi "+Pijia "tm piaio (15) 


jE 
式 〈15) 指出 马 氏 链 的 多 步 转移 概率 由 一 步 转移 概率 完全 决定 。 
马 氏 链 的 转移 概率 .2 包 不 仅 依赖 于 状态 i, 7 及 正 整 数 m， 一般 还 依赖 于 非 负 整数 x4。 如 
果 对 一 切 i， j€ES,,ps 都 与 无 关 ， 即 
区 一 41 py = 7 py, i ESD, (C16) 
或 | oP=,.P=.P='" 二 Pp,， 
则 称 此 马 氏 链 是 时 间 齐 次 的 ， 否 则 称 为 非 齐 次 的 。 如 果 .2 与 4 无关 ， 利 用 式 (15) 及 归纳 
法 容易 推 得 ， 对 任何 正 整数 mpP% 与 无关。 
马 氏 链 X 的 转移 概率 矩阵 列 .P，z 一 0，1，… 只 刻画 了 随机 系统 在 转移 过 程 中 的 概率 法 
则 , 并 不 能 由 它 决 定 出 系统 初始 所 处 状态 的 概率 , 因此 有 必要 引进 概率 4 二 PCXo=i) ,iE€ 8， 
并 称 {g，iES) 为 怀 的 初始 分 布 。 更 一 般 地 还 应 考虑 文 在 任 一 时 刻 a (二 0，、1，…) 所 处 
状态 的 概率 9 中 =P(X,==i) (iE 8) ， 称 为 绝对 概率 : 显然 对 任何 ?一 0，1，…， 有 
gi 0 iE 8 > 一 1。 (17) 


车 记 qf? =g;， i€ES, 那么 对 任何 m=0, 1, 利用 式 《15) 便 得 
df+D 一 P(X。i 一 站 一 2 一 = j,Xati = i) 


x ) 


一 > PCX。 一 tn 


JE3 


= 2 gf op 1 Pijs” mpii? iE 5, (18) 
特别 地 ， 在 齐 次 的 情形 下 有 
gt = 2 他 GE 3。 (19) 


BS 


故 对 任何 mw 二 0，1，…，{g”，iE 5S} 完全 由 的 初始 分 布 与 一 步 转 移 概率 矩阵 列 所 决定 。 

综 上 所 述 ， 对 已 给 的 马 氏 链 ， 由 它 唯 一 确定 出 它 的 初始 分 布 、 一 步 转移 概 率 矩 阵列 及 
任何 时 刻 的 概率 分 布 。 反 之 ， 可 以 证 明 在 理论 上 极为 重要 而 基本 的 定理 : 

定理 3 〈 存 在 定理 ) ” 任 给 一 概率 分 布 {4，iE S} 及 随机 和 矩阵 列 [oj]，a 一 0，1，…， 

则 必 存 在 一 概率 空间 (9， 多, P) 及 定义 在 其 上 状态 空间 为 5 的 马 氏 链 {X,, n= 二 0,，1， 
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… 使 得 P(X0=i) =—=qgi, P(Xs+!=j|X, =i) =, Piy, 对 一 切 t, jE€ES, n=0, 1,， … 都 成 立 。 
证 略 (参见 [1])。 在 存在 定理 所 述 的 意义 下 ， 马 氏 链 完全 由 它 的 初始 分 布 及 一 步 转移 
概率 矩阵 列 所 决定 。 


$ 3 多 重 马 尔 科 夫 链 


在 有 些 实际 问题 如 语言 传送 信息 或 气象 预报 等 的 探讨 中 ,还 会 遇 到 比 § 1 所 定义 的 马 氏 
链 更 一 般 的 情形 。 
定义 设 X= {XX,， 1 二 0，1，…} 十 定义 在 (9, 多，P) 上 的 随机 序列 ， 状 态 空间 3 
是 可 列 集 或 有 限 集 , 如 果 存 在 正 整 数 玉 , 对 任意 的 整数 "之 人 一 1 及 任意 的 ji， iaritES， 
如 果 P 《Xo==io，…，X, 二 %) 之 0， 总 有 
已 (Xi = b+i| Xo = os ,XY, = b) 
= PK = bp | Xi = hk", = i ) (20) 
成 立 ， 则 称 此 X 为 KK 重 马 尔 科 夫 链 
定理 4 ”如果 X= {X., 1 二 0，1,，…} 是 天 重 马 氏 链 ， 则 式 必 是 KK 十 1 重 马 民 链 。 
证 对 任何 正 整 数 s 宕 K, 任何， 5，…，?riES,， 利用 概率 的 完全 可 加 性 及 假设 条 件 
式 (20)， 有 
已 (Xi = hi [Xr = hr, 一 如 ) 
二 忆 (X_K 一 加 -Ko Ks = hs Kt = bt) 
P(X = hrs YX, =) 


P(Xo = 70，…… sk 一 入 一 KK 一 19 龙 。 一 下 一 hk 1 
已 (全 一 hk »X， 一 i ) 


jo kK-1ES 
POXo = for > Xk—l = ,OY = hk 一 i ) 


x 已 (人 一 JJ 二 js—K—i » Xk 一 如 一 加 ) 


一 2 POXtt 一 bti IX 一 jo Xk- 一 hx-1s Xk 一 ks) 


jo ES 
x POXo = jo Nk-l = 人 Kl19 六 一 一 kX 一 如) 
忆 (XK = hk 人 一 加) 
= P(X,+i = bri| Xrt! = rti9"" ss 一 如) 
= P(X = hti|Xo 一 ix 一 加) 
下 面 的 定理 进一步 指出 ， 通 过 扩大 状态 空间 维 数 的 方法 可 将 下 重 马 氏 链 化 为 马 氏 链 
《一重 )， 于 是 可 借助 马 氏 链 的 已 有 理论 结果 来 探讨 下 重 马 氏 链 的 性 质 。 
定理 5 设 X={X., nx 一 0，1,，…} 是 天 重 马 氏 链 , 记 5* 为 乘积 空间 SXSX…X5, 又 
一 
记 天 维 随机 向 量 么 一 和 (o) 一 (Ko) ,XiCo) XiCo))oER, 则 { 么 ,na 一 0，1，…)} 
是 马 氏 链 《〈 一 重 ) 。 
证 记 e= Ga)，…，iC)) 有 (nix (1n) ES， 即 eES，z 一 0，1，…， 只 要 
证 : 对 任何 非 负 整数 及 任意 的 ae，e，…，e+iES， 有 
P(Z+1 一 e+l|2o 一 eo 和 一 6) 
一 PC(Z. = e+i|2 一 ev)。 (21) 
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为 保证 式 (21) 左 方 有 意义 ， 必 须 PC 如 =e，…， 妈 二 es) 之 0， 那么 由 名 的 定义 应 要 求 ; 
让 (人 十 1) um), l= ln,K—1,m=0,1,,n (22) 
因此 在 ee，…，e+l 中 的 总 共 天 (十 2) 个 分 量 里 ， 只 能 有 下 十 x 十 1 个 是 自由 的 ， 不妨 取 为 
0751) Cm) Cn 十 1)，iz(n 十 1)，…， 六 Cn 十 1)， 其 余 分 量 全 被 它们 所 确定 ， 由 
此 及 式 (22) 
Pl(Zs+1 = e+1 2Zo 一 em 一 6) 
= P(X41 一 0 十 1 XI 一 MG 十 1)， Xrr = ixln + 1)|Zo 
= eg = eiy Ks = Un) Kt = hn 二 1) Xtkt 
= ix-i(R 二 1))PCXrr st 十 上 ) | 2。 一 eoy… -1 一 6-1， 
X= hn) X=) xn 十 1)) 
一 已 (已 二 tx(n 十 1)|X6 = 有 (0), X= i 1), 
天 = hn) X 一 有 (十 1) Xi 一 2 十 1))。 
又 P(Z 一 es+i| 和 一 e.) - 
一 忆 ( 人 HH 一 站 (2 十， XI 一 -GE 十 1 ，XH 一 Ma 十 上) |X, 
一 站 (4) ， 大 一 (2 十 1)，…，Xk 一 za 十 1)) 
=P (Xtr=irla1) [X=i(n), X=n 二 1), 7 XI 一 MG 二 1)) 
由 假设 及 式 〈20) 知 上 面 两 个 等 式 的 右 端 相等 , 故 其 左 端 应 相等 ， 即 式 21) 成立 , 证 完 。 
下 面 来 给 出 马 氏 链 {Z., n=0,，1,…) 的 转移 概率 ， 令 eg 一 (，…，i)，e 一 《〈 访 ，…， 
jx) 皇 8， 设 PCZ. 一 ee) 全 0， 记 88 一 RN 一 el 么 一 eo)， 由 有 乞 的 构造 及 式 
《22) 得 
.Po 着 及 二 1 一 ,使 产 攻 mn (23) 
A POX+r = jx|X, = 全 则 ， 
此 即 {2，# 二 0，1，…}) 的 一 步 转移 概率 ， 如 果 式 (23) 的 值 对 任何 ee，el€E 5* 都 与 ?无 
关 ， 那么 (2.，?* 一 0，1,，…} 是 齐 次 的 , 这 时 称 玉 重 马 氏 链 {X,,， 4 二 0， 1,…}) 是 齐 次 的 。 


$4 停止 时 间 与 强 马 尔 科 夫 性 


§ 1 中 定义 的 马 氏 性 是 指 ; 已 知 系统 在 确定 的 时 刻 # 处 于 状态 i 的 条 件 下 ,确定 时 刻 4 以 
后 发 生 的 事件 与 4 之 前 发 生 的 事件 独立 , 试问 : 对 于 不 确定 的 “随机 时 刻 r” 是 否 仍 能 保持 
有 相应 的 无 后 效 性 呢 ? 所 谓 “ 随 机 时 刻 ” 在 人 们 的 实践 中 是 经 常会 遇 到 的 , 例如 , 一 水 库 的 
水 位 达到 警戒 水 位 的 时 刻 ， 一 系统 因 出 现 故障 而 停止 运行 的 时 刻 ， 某 银行 的 储 鞋 额 达 到 百 
亿 元 的 时 刻 等 等 都 是 具有 不 确定 性 的 时 刻 ， 而 且 人 们 十 分 关注 这 些 有 实际 意义 的 随机 时 刻 
以 及 在 其 前 或 其 后 所 发 生 的 事件 ， 因 此 应 对 随机 时 间 以 及 关于 它 的 马 氏 性 给 出 确切 的 数学 
定义 。 

定义 设 X= {X,, a 一 0，1，，…} 是 齐 次 马 氏 链 ， 又 设 * 是 取 非 负 整 数 及 co 为 值 的 随 
机 变量 ， 如 果 对 每 个 非 负 整 数 *， 都 有 (fT 二 2) E F(Xo，Xi1，-…，X,), 即 (z=n) 是 完全 
由 Xe，X ，…，x。 所 决定 的 时 间 ， 则 称 + 是 可 选 的 或 是 X 的 停止 时 间 , 简称 X 的 停 时 ,如 
果 是 X 的 停 时 , 由 定义 易 验 证 对 任何 非 负 整数 nn, {tf 十 =n) 一 {7 二 nn 一 pm}) EE 多 (Xe， 
Xi CCXe，X，…，X)， 所 以 r 十 mm 一 1，2，… 都 是 天 的 停 时 。 
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对 义 的 停 时 t+， 定义 
Xs T= Rn, R= 0,)],.., 
六 ,二 (24) 
Cc, T= 00。 
c 是 指定 的 一 值 , 但 c&@5， 这 时 用 5U te} 来 代替 原来 的 5。 因为 对 任何 jE5， 有 
KD=UX= hr) eF, (25) 
所 以 X, 从 而 Xtran， mw 二 1，2，… 都 是 随机 变量 。 

设 + 是 的 停 时 ， 称 随机 事件 4 是 7 前 事件 ， 如 果 对 任何 4=0,， 1,…，A4 站 {r=?) 
所 多 (Xe，…，X.), 即 4 是 由 随机 变量 Xe, …，X: 所 确定 的 .相应 地 , 如 果 随 机 事件 8 是 由 
随机 变量 X,，X,+，… 所 确定 的 ， 即 BE 多 (，X+，…)， 则 称 8 是 后 事件 。 

设 XX= (X，n 一 0，1，…} 是 齐 次 马 氏 链 , 状态 空间 为 5， 如果 对 任何 X 的 停 时 +, 任 
何 + 前 事件 4 与 + 后 事件 8 及 任何 iES， 都 有 

P(B|4, =i) = POBIX, = i) (26) 
成 立 ， 则 称 马 开 链 X 具有 吝 马 尔 科 夫 性 .下 面 的 定理 断言 离散 参数 的 齐 次 马 氏 链 必 有 强 马 
氏 性 。 

定理 6 设 * 是 齐 次 马 氏 链 {X,, z=0, 1，…) 的 停 时 , 则 对 任何 7 前 事件 4 及 任何 记 

jES， 如 果 P(4,， X= 让 >0， 必 有 
P(Xoi = j|A,X,=i) = P(X = jlX, = = (27) 
证 ”P(4，X 一 上 5，XHI 一 力 


= Zp 太一 9 X41 二 7， T=n) 


一 之 ,P(4， X=i, T=n) P(X+1=j|4, X,=i, T=n), 
由 :前 事件 的 定义 ， 4A 站 (7=) EHC(Xk，0SKSCn)， 再 由 定理 1 的 注 4 便 知 
， PK(X = jj|A,X, 一 1 一 有 一 POCOX = =) = 
代入 前 式 得 
P(A,X:=i,Xh 一 放 一 py EPCA,X, = i =n) 
a 


= ppP(A,X, = 1)。 
此 等 式 对 任何 7 前 事件 4 都 成 立 ,特别 地 对 4=9 也 应 成 立 , 式 (27) 得 证 。 
定理 7 设 是 齐 次 马 氏 链 {X,, w= 二 0，1，…}) 的 停 时 , 和 任 给 7 前 随机 事件 4， 对 任 一 
正 整数 m 之 1 及 任何 to Vs mE DO, 如 果 P(4, X= Xt 二 Xtm1 = in—!) >0， 
则 有 
PXI 一 HH， …， Xi 一 各 |4， X,=io) 
=P(X 一 让， X=in | X=io) 
一 Po "Di its (28) 
特别 地 ， 有 
PlXire = |A,X: = io) = P(Xete = in|X: = 10) = pH, (29) 
证 POXity=i Xi |A4，X:=io) 


=P(X.rn=i [4, X=io, Xt=, roy 一 1) 
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XPCX+a-1 一 和 -14 一 ti， 太一 和 Xi 一 io 
Pp (Xri=h|A, X,=io) 
pi Pi "Pie 
上 式 最 后 一 个 等 号 成 立 的 根据 是 ， 对 任 给 的 正 整 数 玉 <m，7 十 K 都 是 马 氏 链 的 停 时 ， 而 且 
{4， X=io, Xti=i trl) 是 r 十 天 前 事件 ， 以 及 式 《27) 。 
将 式 〈28) 两 边 对 4H，…， 各 -1E€5 求 和 ,由 概率 的 完全 可 加 性 及 式 〈15) 即 得 式 
(29)、 定 理 证 完 。 
利用 概率 的 连续 性 以 及 式 〈28) 即 得 下 列 推论 。 
推论 设 + 是 一 齐 次 马 氏 链 的 停 时 ，4 是 了 前 事件 ， 对 任 一 状态 序列 {i ，…， 训 ， 
…}) C5， 如 果 P(4，X: 二 io) 盖 0， 则 有 
POXiti = by Kern = i |A,X, = io) 


一 POXit! 二 by" sR = bn |X. 一 10) 


= | |p, in, (30) 


利用 在 定理 1 的 证 明 中 所 使 用 的 和 ^- 系 方法 ， 以 及 定理 ?的 结论 ， 便 可 论证 下 面 的 定理 
定理 8 设 r 是 一 齐 次 马 氏 链 的 停 时 , 又 4 与 83 分别 依次 是 7 前 与 + 后 随机 事件 , 如 果 
对 任何 iS，PC4，X,=i) >>0， 则 有 
P(B|A,X; =i) = P(BIX, = i)。 (31) 
注 定理 8 指出 离散 参数 马 氏 链 必 为 强 马 氏 链 , 一 般 情 形 下 ， 强 马 氏 过 程 显然 为 马 氏 过 
程 ， 但 是 反之 未 必 成 立 ， 强 马 氏 性 与 马 氏 性 是 有 本 质 差异 的 两 种 概率 特性 。 


$5 马尔 科 夫 链 模 型 


本 节 将 对 一 类 实际 问题 ， 介 绍 如 何 去 定 量 描 述 、 分 析 处 理 的 几 个 例子 ， 而 这 些 具 体 问 
题 都 是 以 马 氏 链 作为 自己 的 数学 模型 的 。 

例 ! (随机 徘徊 滤波 器 )50 对 一 系统 接连 不 断 地 输入 一 串 脉 冲 序 列 ， 自 然 脉 冲 相位 
可 能 超前 也 可 能 滞后 ， 经 过 一 段 时间 之 后 的 登 加 可 能 出 现 过 于 超前 或 过 于 滞后 的 现象 ， 因 
而 造成 较 大 的 误差 ， 于 是 必需 设法 加 以 控制 ， 那 么 首先 就 应 建立 一 个 准则 判断 何 时 过 于 超 
前 何 时 过 于 滞后 以 便 随 时 修正 .为 此 可 利用 如 下 的 数学 模型 , 即 著名 的 赌 徒 输 光 问题 , 设 有 
一 质点 MM 开始 位 于 数 轴 的 正 整数 点 Y 处 (这 玫 示 赌 徒 M 开始 及 元 )， 以 后 MM 在 数 轴 的 
整数 点 (0，1，…，z，…，2N) 上 作 每 次 向 右 或 向 左 仅 移 一 格 的 随机 徘徊 运动 ， 见 图 2 
(o), 车 MM 现在 z 处 , 0<z<2N (表示 赌 徒 M 现 有 z 元 ), 那么 在 下 一 步 总 是 以 概率 ?到 
达 z 十 1 处 , 以 概率 4 到 达 z 一 1 处 (表示 在 每 一 局 赌博 中 赌 徒 总 是 以 概率 ? 赢 一 元 以 概率 9 输 
一 元 ), ?十 4 一 1， 一旦 质点 在 未 到 达 2N 处 之 前 先 到 达 0 处 ， 将 永远 停留 在 0 处 ， 运 动 告终 
(表示 赌 徒 M 输 光 ,赌博 结束 )， 如 果 质 点 在 未 到 达 0 处 之 前 先 到 达 2Y 处 , 质点 将 永远 停留 
在 2N 处 ,运动 也 即 停 止 (表示 赌 徒 MM 以 净 赢 Y 元 而 结束 这 场 财 博 ) ,借助 于 上 述 模型 便 可 
设计 制造 出 如 图 2 (2) 所 示 的 随机 徘徊 滤波 器 .2X 级 可 逆 计 数 器 开始 置 为 N (相当 于 质点 公 
开始 位 于 处 )， 以 概率 pz 有 一 相位 超前 的 输入 脉 串 ， 以 概率 g 二 (1 一 pz) 有 一 相位 滞后 的 
输入 脉冲 (相当 于 质点 ML 现在 不 论 在 {1，…，2N 一 1) 中 的 何 处 ， 下 一 步 向 右 移 一 格 的 概 
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QQ ~ 


0 人 一 十 1 2 一 1 z 2 十 1 oN 


(uy) 


Vy 
用 位 超前 输入 加 二 输出 推 后 控制 脉冲 
J 了 一 一 一 一 一 ”| 2 级 : 
可 北 
?二 1 一 ? 计数 器 


相位 滞后 输入 减 一 


输出 提前 控制 脉冲 
2 


4) 随机 徘徊 滤波 器 


图 2 

率 总 为 "， 向 左 移 一 格 的 概率 总 为 9) 在 计数 器 中 对 相位 超前 输入 施行 加 法 运算 ， 对 相位 洁 
后 输入 施行 减法 运算 ， 一 旦 计数 器 上 的 计数 达到 40《 相 当 于 质点 未 到 达 2N 处 之 前 先 到 达 0 
处 ), 这 表示 净 相 位 沾 后 的 脉冲 个 数 达 到 六, 则 判断 为 相位 过 于 滞后 , 即 输出 一 需 提前 的 控 
制 脉 冲 ， 同 时 将 计数 器 上 的 记 数 重新 置 于 入 ; 一旦 计数 器 上 的 记 数 达到 2N (相当 于 质点 未 
到 达 0 处 之 前 先 到 达 2N 处 ), 这 表示 净 相 位 超前 的 脉冲 个 数 达 到 >, 则 判断 为 相位 过 于 超前 ， 
即 输出 一 需 推 后 的 控制 脉冲 ,同时 将 计数 器 的 记 数 重新 置 于 V，, 如 此 周而复始 地 工作 可 达到 
控制 的 目的 。 

车 以 X, 表示 在 {0，1，…，2N} 上 作 随 机 徘徊 运动 的 质点 ML 经 步 转移 后 所 处 的 位 
置 或 状态 。 那么 {X.， n= 二 0，1，…} 就 是 以 {0，1，…，2N}) 为 状态 空间 的 随机 序列 .。 因 
为 质点 下 一 步 将 到 达 的 位 置 仅 与 它 现在 所 处 的 位 置 有 关 ,而 与 它 以 前 所 经 过 的 位 置 无 关 , 而 
且 不 沦 何 时 质点 总 是 以 同样 的 概率 ?与 4 分 别 依 次 向 右 或 向 左 移动 一 个 单位 ， 一旦 质点 到 
达 2N 处 或 0 处 , 将 水 远 停 留 在 原 处 , 这 一 运动 概率 特征 不 随时 间 而 变 , 所 以 {X,, z= 二 0, 1， 
…) 是 一 齐 次 有 限 马 氏 链 ， 它 的 一 步 转移 概率 矩阵 是 


0 1 2 3 2Y 一 2 2N—1 2N 
0 1 0 0 0 0 0 0 
1 gq 0 » 0 0 0 0 
2 0 4 0 ? 0 0 0 

P=3 0 0 9 0 0 0 0 (32) 

2VY 一 20 0 0 0 … 0 p 0 
2N—1| 0 0 0 0 .… g 0 » 
2N | 0 0 0 . 0 0 1 


记 与 P; 分 别 依次 为 质点 MM 从 z 处 《0<zS2N) 出 发 , 最终 到 达 0 处 与 2X 处 的 概率 ， 
即 马 氏 链 从 状态 z 出 发 , 分 别 最 终 到 达 状 态 0 与 状态 2N 的 概率 。 则 当 ?天 时 ， 有 〈 参 看 了 ， 
例 47 
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_ (gq/p)™ — (Ca/p)* _ (gq/p)—1 
DT ?F/I (33) 


当 7==g= 二 1/2 时 ， 有 


E24 之 
= 1 ay 六 二 7。 (34) 


由 式 (33) 、(34) 易 见 ; 无 论 p 关 9 还 是 p=g， 对 任何 z€E (0，……2N) 都 有 0 十 pz 一 1。 这 表示 
马 氏 链 无 论 从 娜 个 状态 z 出 发 ， 最 终 必 定 要 到 达 状 态 0 或 2V， 不 可 能 在 (1，2，…，2X 一 
1} 中 作 永 无 止境 的 随机 徘徊 .特别 地 ，%x 十 ?=1， 这 表示 随机 徘徊 滤波 器 必定 有 提前 或 退 
后 控制 脉冲 输出 的 。 

记 了 为 质点 从 = 处 〈0 委 z 委 2N) 出 发 ,首次 到 达 0 处 或 2N 处 所 需 的 步 数 ， 即 马 氏 链 从 
状态 z 出 发 首次 达到 状态 0 或 2X 的 转移 步 数 , 显 然 郊 是 随机 变量 ,其 数学 期 望 记 为 了 一 三 -， 


则 有 59 
Zz 2N 1— (g/yp)’ 
ni i 一 Sm ?#9 (35) 
ZC2N 一 5)， p= 4g。 

于 是 为 马 氏 链 从 = 出 发 首次 到 达 0 或 2 的 所 需 的 平均 转移 步 数 .特别 地 ,zxw 是 2N 级 可 道 
计数 器 开始 计数 为 N, 以 后 计数 首次 达到 0 或 2N, 从 而 使 滤波 器 有 一 输出 的 所 需 输 入 脉冲 的 
平均 个 数 . 随 机 徘徊 滤波 器 的 概率 特性 完全 由 马 氏 链 所 表征 ， 而 9 、 产 、T (0&zS&2N) 是 
刻画 滤波 器 的 重要 数字 特征 。 

例 2 〈 爱 伦 菲 斯 特 (Ehrentest) 模型 ) 为 了 定量 地 找 绘 气体 分 子 间 的 热传导 现象 ， 考 
虚 如 下 理想 化 的 模型 , 设 一 容器 中 有 2A 个 分 子 作 随 机 的 流动 , 设想 有 一 个 并 不 存在 的 界面 
将 此 容器 分 为 相等 的 左右 两 部 分 ， 均 衡 时 每 一 部 分 中 都 包含 Y 个 分 子 。 假 定 分 子 每 次 流动 
时 ， 同 时 有 两 个 分 子 从 左 方 流 到 右 方 或 从 右 方 流 到 左 方 ， 或 一 个 从 左 方 流 到 右 方 ， 同 时 另 
一 个 从 右 方 流 到 左 方 都 不 可 能 发 生 ， 亦 即 无 论 对 哪 一 方 ， 每 次 只 能 发 生 增加 一 个 或 减少 一 
个 分 子 的 变化 , 现 用 X. 表示 次 流动 后 右 方 所 含 分 子 数 与 NN 的 差 i, 一 Ni<N, 在 前 面 所 
述 的 假定 下 , Xi 是 i 十 1 还 是 i 一 1 只 与 X, 二 i 有关， 而 与 Xo，…，X,-! 的 取 值 无 关 , 故 {X,， 
za 一 0，1，…} 具有 马 氏 性 。 当 0<i&N 时 , 右 方 的 分 子 数 比 左 方 的 多 ， 由 于 分 子 的 流动 是 随 
机 的 ， 因 而 从 右 方 流向 左 方 一 个 分 子 的 概率 要 比 从 左 方 流向 右 方 一 个 分 子 的 概率 大 ， 并 且 
经 验 告诉 我 们 大 小 的 程度 应 与 右 方 与 左 方 分 子 数 之 差 《TAN) 一 [2N 一 (i 十 入 )] = 于 成 正 
比 ， 即 pi-i 一 po 与 i 成 正比 。 当 一 入 志 ; 达 0 时 ,对 称 地 有 类 似 的 解释 ,分 子 流动 的 这 一 概率 
法 则 始终 一 样 不 随时 间 而 变 ,， 故 {X,，+=0，1，…} 是 状态 空间 为 {一 N, 一 Nl, ,NN 
一 1，N} 的 齐 次 马 氏 链 。 而 且 其 一 步 转移 概率 可 由 下 式 给 出 


ps = 0， — NiQN, 

= 也 NN oN 
pn- = 二 1+ 盐 ， 十 1 乏 i 魏 六， (36) 
[rm = 志 [1 一 大 ]， NIN—1,。 


这 样 规定 的 转移 概率 当 0<i<N 时 ，p1 之 六 ,biti 忆 序 ， 而 且 i-1 一 iri 一 方 与 1 的确 成 
正比 , 当 一 N<i<0 时 ,也 有 完全 对 称 的 论断 , 式 (36) 近似 地 刻画 出 气体 分 子 间 热 传导 现 
象 的 主要 统计 规律 。 
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例 3《〈 分 支 过 程 ) 为 了 定量 地 描写 粒子 在 核反应 中 不 汤 分 裂 的 过 程 , 不 妨 假设 初始 恰 

有 一 个 粒子 , 记 作 Zo 一 1, 经 过 一 次 核反应 后 , 分 裂 产 生出 第 一 代 粒 子 ， 其 个 数 记 作 X， 显 
然 蕊 是 一 随机 变量 ， 其 分 布 记 为 

p= PXI=i)), 1 一 0,1，…。 (37) 

除非 X=0, 否则 第 一 代 的 每 个 粒子 再 经 过 一 次 核反应 后 , 都 将 以 同样 的 概率 分 布 (37) 分 

裂 产 生出 第 二 代 粒 子 ， 而 且 假 定 第 一 代 中 的 各 个 粒子 分 裂 与 否 或 分 裂 出 多 少 粒子 都 是 相互 

独立 的 ,如果 确 知 第 一 代 的 粒子 数 为 天， 这 下 个 粒子 各 自分 裂 产 生 第 二 代 的 粒子 数 分 别 依 

次 记 为 ,7Y;，，…,，Yx， 那 么 了,，…，Yx 便 是 下 个 相互 独立 的 具有 相同 分 布 (37) 的 随机 

变量 , 而 且 第 二 代 粒 子 的 总 数 为 X= 十 … 十 Yx== 卫 十 … 十 Yx,， 如 此 经 过 多 次 核反应 多 次 


分 裂 ， 一 般 地 第 十 1 代 粒 子 总 数 应 是 Xt 二 十 … 十 7 一 之 2Y;， 4 一 0，1，…, 一 旦 知道 了 
X. 的 确切 取 值 ， 不 论 过 去 历代 裂变 粒子 数目 ，X。，X,，…，X._ 的 演变 情况 如 何 ， 下 一 代 
粒子 总 数 X.i, 的 分 布 完全 由 目前 这 一 代 粒子 总 数 X, 所 决定 , 因此 随机 序列 {X,, 4=0,，1， 
…} 具有 马 氏 性 ， 又 因为 从 一 代 裂 变 到 下 一 代 都 遵循 着 同样 的 统计 规律 ， 即 {Y;，Y:，…} 
是 独立 同 分 布 的 , 于 是 {(X。, 二 0,， 1，…} 是 齐 次 马 氏 链 。 为 求 此 链 的 一 步 转移 概率 ， 记 分 


布 (37) {po， pi，…} 的 母 函 数 为 C(z) 一 之 /pz 它 在 |z| 和 1 上 一 致 收效 且 绝 对 收敛。 因为 
取 非 负 整 数值 的 随机 变量 的 分 布 叭 一 地 由 其 母 函数 所 决定 , 故此 G(z) 是 每 个 Yi，yz，… 的 
母 范 数 , 又 根据 定理 :i 个 相互 独立 取 非 负 整 数 为 值 的 随机 变量 之 和 的 母 函数 为 各 自 母 函数 
的 乘积 , 那么 在 已 知 X.=i 的 条 件 下 ,X= 了 十 … 十 Ys 二 了 1 十 … 十 7 的 母 函 数 为 (GCz))'， 
于 是 对 任何 非 负 整数 :， 有 

他 一 PP (XI 一 川 X 一 二 (G (z))' 的 里 级 数 展开 式 中 的 系数 

i 2 j=0, 1, 

po=0, j=1, 2, (38) 

Zoo 一 |。 

例 4 (排队 模型 ) ” 某 电话 交换 台 不 时 接 到 要 求 通话 的 呼唤 ,如 果 现 在 交换 台 正 为 一 呼 
唤 服 务 ， 即 让 它 占线 通话 ， 那 么 在 它 之 后 来 到 的 呼唤 将 依次 排队 等 候 ， 当 对 此 呼唤 服务 完 
毕 ， 即 对 紧 接 其 后 的 呼唤 服务 ， 如 果 尚 无 排 趴 的 呼唤 ， 那 么 交换 台 将 等 待 下 一 个 呼唤 的 到 
来 ,规定 交换 台 为 每 个 呼唤 服务 皆 为 一 个 单位 时 间 .对 xz 王 1，2，…， 若 以 X, 表示 交换 台 对 
第 * 个 呼唤 服务 完毕 时 ， 后 续 排 队 等 候 的 呼唤 个 数 , 又 以 Y, 表示 交 换 台 在 为 第 * 十 1 个 呼唤 
服务 期 间 来 到 的 呼唤 个 数 ， 并 假设 {Y.，w=1，2,，…}) 是 服从 同一 个 参数 和 (>0) 的 普 阿 
松 (Poisson) 分 布 (2) 的 独立 随机 变量 序列 ， 于 是 有 


Xi = Yl, .| 一 一 CX, 一 1) 二 十 YY。， 中 汪 1 2，…， ， 《39) 
X,—1 当头 一 130 
其 中 CD+= 当 X 1>0， 
0 当 XX 一 1 之 0 。 


由 {Y,, n=|], 2， | 的 独立 性 及 Xl 二 了， 一 旦 知道 X。 的 确切 取 值 ， 那么 Xs+i 与 《人 ，…， 
X,-1) 相互 独立 , 故 {(X,, n=1, 2,…} 是 状态 空间 为 {0, 1, 2, …} 的 马 氏 链 。 又 由 式 (39) 
及 独立 性 得 

15 一 PX = j|X = =P(N Dt+Y, = JX, = 7 
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= P(X =i, Y= jj (~— 1)+)/P(X, 一 让 
= P(Y,=j— (i— 1)+), 


既然 工 服从 普 阿 松 分 布 7 〈)) ， 故 从 上 式 得 : 


PC 一 力 一 Me i, i= 0,1, j= 0,1,.， 
JP =j—i+D)= We /Git 1D!, i= 2,3, ,7 = 0,1,.…, 
Pi 一 Ji 1 
0， 0<j<i—1, 


(40) 
[pyj] 就 是 {X，w 一 1，2，…} 的 一 步 转移 概率 矩阵 ， 而 且 式 〈40) 表明 它 与 无 关 ， 故 
{X,，# 二 1，2，.…} 是 齐 次 马 氏 链 。 

” 例 5 (水库 贮 水 模型 ) 某 水 库 所 在 地 区 每 年 的 降雨 量 为 独立 同 分 布 的 随机 变量 。 令 了 
表示 第 * 年 降雨 使 水 库 增加 的 贮 水 量 , 而 X, 表示 第 年 开始 时 水 库 的 贮 水 量 ,， 假定 水 库容 
量 是 :个 单位 , 又 每 年 放水 都 按 如 下 规定 执行 : 若水 库 内 存 水 量 超过 M《< 过 KK) 个 单位 , 就 
一 定 放 足 M 个 单位 ， 若 存 水 量 少 于 M 个 单位 ， 则 有 和 多少 就 放 多 少 。 因 此 第 4 年 的 放水 量 为 
min 《AM ，X,. 十 Y,)， 而 第 "十 1 年 初 水 库 的 贮 水 量 为 

X= min(K,X, 7) — min(M,X, 二 +Y),， n>1， (41) 
六 与 允 都 是 确定 的 常 值 ，{ty.，z 王 1，2，…} 是 相互 独立 的 随机 变量 序列 ， 因 此 X,+4 完 全 
由 六 所 决定 ， 并 且 Xi 与 《Xi，… X11) 独立 无 关 ， 故 {X,, n=1],，2， “) 是 状态 空间 
:为 {0, 1，…, 大 一 M} 的 马 氏 链 。 为 求 此 链 的 一 步 转移 概率 ， 对 j= 二 0, 1,…, 及 1 二 1, 2， 


.…， 令 


j [ead 
p; = PO = )); 0;= Dpr = PY, 扫 力 ;而 一 > ,mx =P >))。 
ke 0 


由 式 〈41)， 在 筷 一 0 的 条 件 下 要 使 X.+: 一 0 应 要 求 六 和 到 ， 故 对 任何 * 一 1，2，…， 有 
poo 一 P(X.+ 一 0|X = 0) = PO(Y, < M) = Gu。 

仍 由 式 (41), 在 天 一 1 的 条 件 下 要 使 Xi 一 天 一 M 一 1， 即 要 求 min(K，1 十 7.) 一 min (M， 
1 十 7Y,) 一 玉 一 到 一 1， 于 是 有 也 一 天 一 2， 故 ,pw 一 P (XI 一 天 一 于 一 11X 一 1) 一 P (Y， 
二 KK 一 2) 二 px-1， 7 之 1。 再 由 式 (41), 在 X, 二 MM 的 条 件 下 ， 要 使 Xt 二 KK 一 MM, 即 min (K， 
M 二 7) 一 min (M，M 十 Y.) 二 KK 一 M， 即 可 求 了 .之 KK 一 M， 故 

aPur-su = P(X = KR~ MIX = M)= P(EK— M)= Hv, 2 之 。 
其 它 的 .py，i，jE {0，1，…， KK 一 M) 类 似 地 可 求 出 ,从 而 得 到 一 步 转移 概率 抢 阵 为 


0 1 一 一 下 一 凡 
0 Cu BuUA+L pr—! Hx 
Gu-i pu 9 Pxr—2 xl 
Cp, 二 3 [LL 二 要 四 和 时 归 中 Ld 沁 ~ 1 (42) 
可 M Co pi ** KK 一 由 一 -4 
M+1 0 po Pk—M—2 Hkg—a—! 
A—M 0 0 ‘0 Pa—i Hy 


由 式 〈42) 知 [,pyj] 实际 上 与 无关， 故此 马 氏 链 还 是 齐 次 的 。 
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独立 同 分 布 的 随机 变量 序列 在 理论 与 应 用 上 一 直 是 人 们 十 分 注视 的 研究 对 象 ， 现 在 我 
们 来 前 明 它 与 马 氏 链 的 密切 关系 作为 本 章 的 结束 。 
现 设 $ 为 所 有 整数 构成 的 集 ， 又 {Y,, ?2 一 0，1， pp 是 独立 随机 变量 序列 ， 而 且 {Y,, 


二 1，2，…}) 具有 相同 的 分 布 ，{p.，iE 5)。 现 在 定义 : X, 一 傍 ,Yx， na 一 0，1，…。 由 此 定义 
及 {Y,, n=0, 1， 0 } 的 独立 性 假定 ， 知 Xi 二 XX 十 Yr1， 8 一 0，1，…， 而 且 7.+ 与 (Xo, 
Xi X,) 独立 ， 于 是 对 任何 4#=0， 1，…， 任何 jn， hy hal? it JES, 有 
PX = j|Xo = ios Xi 一 站 0X = 1 X, = i) 
= PO = jilXo = iio Xi = = i 
一 PCO7 = j ~ = 9- 
由 此 可 见 {X,， z= 二 0，1，*…} 是 以 3 为 状态 空间 的 齐 次 马 氏 链 。 其 一 步 转移 概率 为 
“Pi= p= po n= 0,1,, i,jES (43) 
因为 只 依赖 于 差 一 i, 具有 这 样 特 性 的 一 类 链 称 为 空间 齐 次 的 。 容 易 看 出 这 个 时 间 齐 次 又 
空间 齐 次 的 马 氏 链 的 初始 分 布 ， 即 X。 二 Yo 的 分 布 不 必 与 {4，iE5) 相同 。 
反之 , 假设 {X., + 二 0，1,…} 是 状态 空间 为 8 的 时 间 齐 次 的 马 氏 链 , 而 且 其 一 步 转 
移 概率 p;, i,jES 具有 式 (43) 所 给 的 形式 , 于 是 对 任何 #=0, 1,，…, 任何 i, 天 ES， 有 
P(X — X= KIX,=i)= PX =i+ KIX,=0) 
一 Jitk = pro (44) 
令 Yi 二 Xn 一 XX 4 一 0，1，…， 由 式 (44)， 对 任何 KES， 有 
PO 一 KY= DP — X= KR, X=i) 
i€ED 


= PPK, = PX — X= FIX, =i) = px 
iES 


即 {Y,，4 二 1，2，…}) 具有 相同 的 分 布 {pr，KES})。 
对 任 一 正 整 数 *， 任 何 问 ，…，#ES， 因 为 马 氏 性 及 式 〈43) 
PP(Y = =) = PKL ~ Xo = XO 1 = 如) 
二 >)P(Xo 一 思 一 jj 十 和 和 一 了 十 下 十 着 一 了 十 站 十 …… 十 怀 ) 
jES 
一 Z PCXo = PK 一 了 十 下 Xe 三 力 P(CX = j 二 十 |Xi 一 了 十 二 ) 
jES 
POX, 一 j 十 站 十 … 十 评 | 人 一 了 十 十 十 瑟 
一 ZI7PCX。 二 DP Dp, 
JES 
一 PY! = uP(Ys 一 加 )… 忆 (Y， 一 hs) 。 
这 表明 {Y,, n=1， 2， } 是 独立 的 随机 变量 序列 。 
综 上 所 证 ， 从 结构 上 看 可 断定 一 个 在 整数 集中 取 值 的 时 间 齐 次 同时 又 是 空间 齐 次 的 马 
氏 链 等 同 于 一 个 独立 、 同 分 布 、 取 整数 为 值 的 随机 变量 序列 的 前 面 * 项 部 分 和 序列 。 
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本 章 将 从 齐 次 马 氏 链 的 转移 概率 出 发 ， 建 立 若干 有 意义 的 数字 特征 ， 用 它们 来 表示 各 
个 状态 的 属性 ， 以 便 将 所 有 状态 按 其 概率 特性 加 以 区 别 ， 并 从 整体 上 进行 分 类 ， 进 而 揭示 
出 齐 次 马 氏 链 的 基本 结构 。 


3 1 状态 的 基本 属性 


1， 可 达 关 系 


本 节 首 先 从 描述 齐 次 马 氏 链 状 态 之 间 的 概率 关联 性 上 ， 引 出 几 个 基本 的 也 很 直观 的 概 

念 。 
定义 ” 设 S8 是 一 岗 散 参数 齐 次 马 氏 链 的 状态 空间 , a 步 转移 概率 矩阵 为 [p99?]， 对 给 定 

的 状态 i,，;7E5， 如 果 存 在 某 个 正 整数 4 使 得 史 '>0， 则 称 自主 可 达到 户 记 作 如果; 
之 j，j>i 同 时 成 立 ， 则 称 i1 与 ; 互通， 记 作 iSj。 对 给 定 的 状态 i， 如 果 对 任何 状态 JE 8， 
只 要 i?j 必 导致 有 j=>i, 则 称 i 是 本 质 的 , 倘若 有 jE 8 使 得 这 和 但 ) 寺 i， 则 称 i 是非 本 
质 的 。 

定理 1 任 给 状态 j,kE5, 如 果 i>ij 且 j>k 则 i=>h。 

证 由 假设 与 定义 存在 正 整 数 a, m 使 得 p>>0，p?>>0， 再 由 C-K 方程 有 如 + 之 好 
1 六 0， 故 之 4 

定理 1 表明 可 达 关 系 “ 一 ”是 传递 的 ， 从 而 互通 关系 “ 扣 ” 也 是 传递 的 ， 显 然 互通 关 
系 还 是 对 称 的 ,但 未 必 是 自 反 的 ,因为 存在 这 样 的 状态 #， 对 一 切 正 整数 ”都 有 ?名 一 0, 那 
么 此 状态 上 不 能 与 任何 状态 互通 。 

定理 2 ”如 果 状 态 ;是 本 质 的 ， 又 i=>j， 则 状态 j 也 是 本 质 的 。 

证 若 对 状态 + 有 j=>k, 因为 假设 之 为 由 定理 1 知 i=>k, 又 因 i 是 本 质 的 ,所 以 -> 让 
再 由 假设 ;>j 及 定理 1 得 =>j， 依 定义 ;是 本 质 的 。 


2， 几 个 特征 量 
其 次 将 运用 有 一 定 限制 的 状态 转移 的 条 件 概率 来 给 出 几 个 描绘 状态 概率 属性 的 重要 数 
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字 特 征 。 以 后 如 无 特别 申明 , 总 设 X= {X,,x 二 0,1,…) 是 状态 空间 为 5 的 齐 次 马 氏 链 , 对 任 
意 给 定 的 i，j;E 5， 总 假定 so 


(1) 记 
了 会 PXI = jlXo~=i) = J, (1) 
fH 人 EPX, lm 1l: X= jlX=i), n= 2,3,., (2) 
f° 会 P( NC 天 站 |Xo 一 1 . (3) 
fi 会 Pl( U(X, = DX =i), (4) 
1 会 Dynf。 (5) 


以 上 各 式 定 义 的 数字 特征 的 概率 意义 是 明显 的 ，f) 是 在 系统 初始 处 于 状态 i 的 条 件 下 ， 于 
第 4 步 系 统 首次 达到 状态 ;的 条 件 概率 ; 18”" 是 在 前 面 同样 的 条 件 下 , 系统 永远 也 不 能 达到 
状态 ;的 概率 ; fj 是 在 前 面 同样 的 条 件 下 , 经 有 限 多 步 转移 系统 终于 要 达到 状态 1 的 条 件 概 
率 。 由 所 述 的 概率 意义 及 马 氏 性 、 齐 次 性 即 得 : 

fH = PX ESLER liXots = X= i) 


A 
> PoPije” Psi 


jj 


1 1 @ 
= DPN n> 2n 0， P(X =i)>0, (6) 
i 
丘 十 1 二 1， 或 /8 二 1 一 包 ， (7) 
太一 Df (8) 


一 般 概率 f; 志 1， 故 式 (8) 中 非 负 数 项 级 数 2 必 收 全 其 和 为 方 ， 一 且 所 ==1， 这 时 


{fn 二 1，2，…}) 便 是 一 概率 分 布 ， 而 正 是 该 六 分 布 的 数学 期 望 ， 即 jj 是 在 系统 初始 处 
于 状态 i 的 条 件 下 ， 首 次 达到 状态 ;所 需 的 平均 步 数 。 特 别 地 ， 当 二 1 时， 称 6 为 状态 
的 平均 回转 时 间 。 

(2) 类 比 于 式 (1)、(2)、(8), 令 


gH 会 PC = JX = = (9) 
9g 久 会 PC oSCmEr— 1 K=jlk=i), n= 2,3,, 《10) 
Ci C11) 


sl 


对 w 之 2, 9 多 表示 在 系统 初始 处 于 状态 i 的 条 件 下 , 经 * 步 转移 系统 达到 状态 j, 而 在 此 期 间 
再 没有 经 过 i 的 条 件 概率 , 事实 上 yj 可 看 作 是 在 系统 初始 处 于 状态 i 的 条 件 下 ， 于 系统 再 次 
达到 状态 i 之 前 ， 系统 达到 状态 ;的 期 望 次 数 。 与 2 不同 ， 一 般 说 来 > 此 非 负数 
项 级 数 未 必 收 你 ， 即 9g 未必 有 限 。 显 然 ， 
gh = 1， 1 一 1 2 ……; gi = fi。 (12) 
(3) 与 式 (4) 对 比 ， 可 引出 如 下 有 意义 的 数字 特征 ， 
记 ei 会 P( Nn Ux, = 7))|Xo= i 
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二 PC 有 无 穷 多 个 4 之 1 使 X, = j|Xo 一 礼 ， (13) 
ej 表示 在 系统 初始 处 于 状态 i 的 条 件 下 , 以 后 系统 有 无 穷 多 次 达到 状态 了 的 条 件 概率 。 换 一 


种 说 法 ， 若 令 六 为 状态 ;在 {Xo,X,，,…} 中 出 现 的 次 数 ， 则 ,一 > or 是 一 随机 变量 ， 其 
中 


而 且 

ej = P(N;=o0|Xo=i), fjy= P(N 之 1|Xo= 0) 《14) 

《4) 我 们 还 可 定义 若干 刻画 状态 属性 的 随机 变量 。 令 
人 当 亿 之 1:X 一 外 关 好 Ge 
co， 当 人 之 1 一 让 三 好 
依 此 定义 ， 对 任 一 正 整数 4*， 有 
{Tj 二 1#)} = (Xj mA 一 l= EF{X, ,YX) CF, 

所 以 7; 不 仅 是 一 随机 变量 而 且 是 X 的 停 时 。 由 式 (15) 直 观 地 应 称 7; 为 首次 达到 状态 了 的 
时 间 。 由 7) 及 f9、 扣 、 才 "的 概率 意义 即 得 ; 


f=PT;=1|Xo =i), n= 1,2,., (18) 
有 一 PT < olXo = 0), (17) 
的” =P(T;= oo|Xo = i, (18) 
(5) 对 任 给 的 非 负 整数 x， 令 
UY 人 max(0 nn: X= 0)。 (19) 
当 w==0 时， 对 任 一 非 负 整数 :!， 有 


{Xo = i}， t=0 
{V9 一 少 一 
2， i 之 1。 


当 za 之 1 时 ， 对 佳 一 非 负 整数 上 4， 有 
(NM (x. =0) N Ci 0, OLlZn—1, 


{UP 一 中 一 {MN (X=) i 二 nn, 


好 [之 十 1。 
因此 (0 = 二 F(X,X41)， 故 U8 是 随机 变量 。 实际 上 , U4V 表示 系统 初始 从 状态 
出发， 在 给 定时 间 * 及 = 之 前 系统 最 后 离开 状态 ;的 时 间 ， 显 然 VW 有 赖 于 n。 
(6) 最 后 再 给 出 两 个 有 用 的 数字 特征 。 如 果 正 整数 集 (na: "之 1, 并 使 z 名 >0) 非 空 , 记 
它 的 最 大 公约 数 为 4:， 即 . 
dd 会 G.C.D. (nn 之 1, 并 使 p? > 0)。 (20) 


如 果 正 整数 集 (as，" 关 1， 并 使 fj 名 >>0} 非 空 ， 记 它 的 最 大 公约 数 为 丸 ， 即 
会 G.C.D. {nin 之 1, 并 使 ff >> 0) (21) 


特征 量 4 与 反映 了 在 系统 的 演变 过 程 中 ， 状 态 i 重复 出 现 的 概率 规律 。 
3， 特 征 量 之 间 的 关系 
进而 ， 自 然 应 该 讨论 在 2 中 所 定义 的 诸 特征 量 各 自 的 有 关 性 质 ， 并 探求 它们 相互 之 山 
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存在 的 重要 关系 式 。 首 先 由 下 列 定理 给 出 以 后 常 要 用 到 的 《ppp} 与 {f9} 之 间 的 关系 式 。 
定理 3 对 任 给 的 状态 i。jE 8， 以 及 任 给 的 正 整数 a， 有 

0<p < Sl z G22) 

ph = Df” (23) 


ml 


证 由 fp 、 p09 、 5 的 概率 意义 立即 可 得 式 (22)， 再 由 人 的 定义 ， 又 注意 到 (一 力 
Cn)， 并 利用 概率 的 有 限 可 加 性 及 X 的 马 氏 性 、 齐 次 性 ， 便 有 
p90 =P(X, = IXo=i) = PT,Sn,X, = jlXo=i 


= Spy， 一 mm,X, = 让 Xe = 


ml 
一 Sa、 PlXo = iT = m) ,P(X = T= m,X, = 
1 P(Xo= i P(Xo = i,T); = mm) 


一 >》)P(T = mlXo = P(X, = j|X, = )) 
= Dy", 
式 (23) 的 概率 直观 意义 是 系统 自 状态 ;出 发 经 步 转移 到 达 状态 ;的 概率 等 于 系统 自 
状态 i 出 发 先 经 坟 步 首次 到 达 状 态 j， 然 后 系统 再 自 状态 j 经 3 一 加 步 仍 回 到 状态 ;的 概率 
gp- 对 加 二 1，…， a 所 有 可 能 的 项 之 和 。 值得 指出 的 是 式 (23) 的 证 明 本 质 上 要 用 到 马 氏 
性 ， 对 一 般 的 随机 序列 是 末 必 成 立 的 
定理 4 ( 杜 伯 林 (Doeblin) 公式 ) ”对 任 给 的 状态 i,jES， 则 有 


~\ pH 


fi = lim 一 一 。 (24) 
”1 十 2 


证 由 式 (23)， 取 正 整 数 乙 、 L:1 <L < 可 得 
了 到 一 > > 一 一 (me > -—") 


mel 


> (1 十 SS 3 (25) . 
Ei | amL sm=} Ml - 


对 整数 m:1<m 志 L， 显 然 有 
L 
1 十 Dp =p 罗 十 如 十 十 如 
Nr 


L 


之 如 十 十 三 "二 只， (26) 
将 式 (26) 代 入 式 (25) 中 便 得 


Lr L 工 也 
(1+ D7) DP > D> (i+ D7) 2 的 )， 
LI | Wi 1 下 mw 


n= 1 
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用 (1 十 2279] 通 除 此 不 等 式 ， 就 有 


下 
Ce 
L 2) py L 
> Ap。 (27) 
二 1 1 十 > py) ==] 


在 式 (27) 中 ， 先 令 [一 c2 ， 然 后 再 令 上 了 一 co ， 就 得 到 要 证 的 式 (24) 。 
特别 地 ， 当 5 一 时 ， 电 式 (24) 即 得 下 面 的 推论 : 


推论 1 
1 =1- lim— 5 —。 (28) 
+ Sr 
再 由 式 (28) 即 得 : 
推论 2 非 负 数 项 级 数 21 发 的 充 要 条 件 是 后 二 1, 或 级 数 六 yp 收敛 的 充 要 条 件 
是 所 之 1。 
现在 讨论 有 关 {9 久 } 与 (799} 、{f 扩 9) 之 间 的 关系 式 。 
定理 5 对 任 给 的 状态 i，jE€E 5， 任 给 的 正 整 数 *、/ 有 
(9g84 = Dp, (29) 
GQ 二 吐 -9， 放 (30) 
(iii) gf < +0 ， 1 天 (31) 
(iv) > 人 久 二 (1 一 四 ) 十 Se. (32) 


jES 
证 由 gp 的 定义 及 X 的 马 氏 性 ， 齐 次 性 有 
多 + 一 P(X A Cm Xt = jlXo = 
= DPXs AEmEnr— 1; X= hy Xr = jlXo = 


Fj 


= OPO FZ Em ;X= kX = P(X = IX, = &) 


4 


= > gps 


上 天 了 
式 (29) 得 证 。 
由 V8? 的 定义 ， 当 话 j 时 ，(X,= 站 C(O0SVMSn 一 1)， 敬 
z =P(X, = jj] Xo = 7) 
一 P(0 返 UP Cn 1,X, = jlXo=i) 


a—1 
= Dp = m,X, = jlXo = i) 

m=O 

a—1 
= PPXo = Xm ll liX = X= 

形 亚 0 

S\ PO = i ke = ;Xi 二 1 到 一 1;X, = 二) .P(Xo 一 六 Xe = i 
“i P(Xo = i, Xn = i) PCXo = i) 
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和 一 上 


= PO 一 让 Xo = DPX Aon LLCn— liX, = j|X, = i) 


m=0 


一 Sn、 peg po 


式 C30) 得 证 。 
对 任 给 的 正 整 数 4、!， 利 用 X 的 马 氏 性 、 齐 次 性 ， 有 


fot P(X = Ki i Kl Aik, i Xt Katt KE iy Kt = 
P(Xo = i) 
人 PCX。 一 1X 天， by Nl 天 239 以。 一 7y 1 天 z，。…。 | 天 $+ 一 t) 
之 PX 一 VX ty Ki 一) 


pox = 和 


=P(X, EnmAn 1;X,= jlXo=i) 
X POX in 十 1 mn 十 i 一 1lXKr 二 ilX, = ) 


一 9 外。 
此 即 式 (31),(iii) 得 证 。 
Do = PAA ELER Om 1X, = jlXo = 
JES 过 
=P(X KCICn 1X = =P(T nk = 


=P(T,= oo|Xo=) + PPO = mlXo = 


= + DP = -f+ of, 


上 式 中 最 后 两 个 等 号 成 立 是 因为 式 (16)、(18) 与 (7) 成 立 ， 式 (32) 得 证 ， 定 理 证 完 。 
定理 6 对 任 给 的 状态 1, jEND, 设 数 列 {p09 ,1=0,1, }、 {f9 ,=0,1,.}、 {9g9 ,n= 
1,…} 各 自 的 母 函 数 分 别 依次 记 为 


Pi(z) 会 > p92, lz| < 1， (33) 
3 一 0 
F(z) 会 D2, Iz| < 1， (34) 
mm 
G,(2) 全 Dp |z| 去 1， (35) 
其 中 规定 : p= 二，f 人 二 J/ 信 ==0， sg 如 二 0， 还 规定 0' 为 1， 则 有 
Pi(Cz) = 一 Oj 十 Fi(2)P;,(2), lz| 研 1。 (36) 
特别 地 ， 
pi(z) = | |z| 一 1， (37) 


如 果 i 二 ;)， 则 有 
Pi,(z ) = Pi(2)G(2 ) ， lz| < 1。 (38) 
证 由 规定 及 式 (33)、(23)， 有 
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PD = 5 [> yp 的 -9 2 
为 清楚 起 见 ， 不 妨 令 p9' 二 9 名 二 0，n 二 一 1， 一 2，…， 那 么 上 式 可 改写 成 下 面 的 形式 
Pi(2) 一 05 十 > Er" 2， (39) 
因为 对 一 1，2，…，? 旬 、f9、 0 外 皆 为 概率 ， 所 以 当 。 seE(0,1) 时 ， 级 数 (33)、(34)、 


(35)、(39) 皆 收敛 ， 从 而 当 |z1<1 时， 它们 都 绝对 收敛 ， 于 是 可 以 应 用 傅 比 尼 〈Fubini) 定 
理 交 换 式 (39) 中 求 和 的 次 序 ， 得 


Pui(Cz) 一 0 十 > fr [ > py "ze"™ | 


二 6 十 De[ > wa" | 
一 05 十 pp 。 
式 (36) 得 证 。 
当 ;一 时， 注意 到 式 (12)， 由 式 (36) 即 得 式 (37) 。 
当 j 关 i 时， 由 规定 及 式 (33)、(30) 知 : 
P,(z) = Dre 一 D2 g-»]r, |z| 1 


Lami 


对 上 式 仍 可 利用 侍 比 尼 定 理 交 换 求 和 的 次 序 得 
Pi(z) = > Zl De 


一 应 (z)C5(Cz) 。 

式 (38) 得 证 ， 定 理 证 完 。 

现在 可 以 给 出 几 个 利用 方 、% 来 刻画 可 达 关 系 的 性 质 了 。 

定理 7 对 任何 状态 i，jE5， 则 i>j 等 价 于 方 >>0， 从 而 论 ) 等 价 于 ffx 之 0。 

证 如 果 i=>j, 依 定义 必 有 正 整数 4 使 得 7? 汪 >0, 由 式 (22) 知 请 宇 p9>0。 反之 , 如 果 
所 之 0， 由 式 (8) 必 有 正 整 数 4 使 f 久 汪 >0， 再 由 式 (22) 知 0<f9 二 py ， 依 定义 一) 

因为 >>0 同 时 所 >0 等 价 于 ff;>0， 于 是 由 前 面 已 证 的 结论 即 得 后 面 要 证 的 结论 ， 
定理 证 完 。 

定理 8 对 任何 状态 i;，jE5， 则 有 : 

0G) i 过 j 等 价 于 gj>>0， 从 而 Sj 等 价 于 gy9i 之 0; 

(ii) gs = Do coos 


Ciii) 如 果 ji ， 又 了 > ， 则 %<co。 
证 如 果 ; >)， 则 必 有 正 整数 使 ? 久 >0， 当 放 ; 时 ， 由 式 (30) 知 ， 必 存在 m :0 福 m 
Sn 一 1 使 yp)g8->>0， 那 么 内 ->>0， 注 意 到 在 这 里 "一 必 是 正 整数 ， 于 是 由 式 (11 得 gi 
>0。 如 果 i=j, ;>j， 因 式 (12) 及 定理 7, 得 gi 二 ;之 0， 总 之 ij 等 价 于 gi 之 0， 故 对 称 地 
和 等 价 于 g;>>0， 所 以 ij 等 价 于 950j>0。(D 得 证 。 
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由 式 (12), gi = >)98 =>) 人 0 = 所 才 1,01) 得 证 。 
el 


nm} 


如 果 7 一 和 由 定理 7 知 及 这 0， 再 由 式 (8) 必 有 正 整 数 ! 使 p>>0, 车 j 隆 i ， 屠 么 根据 

式 (31) 对 一 切 正 整数 "都 有 98 名 委 扑 +9 成 立 。 于 是 
Og = 2 给 二 吉 也 " < 项 << co， 

Gi) 得 证 ， 定 理 证 完 。 . 

定理 9 对 任意 给 定 的 状态 i, jE 5, 及 任意 给 定 的 正 整 数 1, 如 果 齐 次 马 氏 链 X 开 始 处 
于 状态 i， 则 以后 状态 ; 至 少 出 现 ! 次 的 概率 等 于 (J;) 个 '。 特 别 地 ，X 从 状态 i 出 发 ， 返 
回 到 状态 i 至 少 以 的 概率 为 (fi)'。 

证 记 册 是 (至少 有 :! 个 正 整数 xn 使 得 X.= 一 久 此 事件 .利用 概率 的 完全 可 加 性 、 乘 法 
定理 ， 以 及 X 的 马 氏 性 、 齐 次 性 ， 则 有 

P(AXs 二) 二 POX 二 j, 县 至少 有 l 一 1 个 正 整数 使 Xiy: = jiXo = 二 让 


十 PCU (Xi 关 放 1 之 tn 一 1;X, = 站 县 至 少 有 1 一 1 个 正 整数 * 
使 Xo+ = j1Xo 二 站 
二 P(X 二 |Xo = 二 让 P( 至 少 有 /一 1 个 正 整数 使 X14 = j|Xi1 = 内 


+ >)P(X IEICm— 1;X, = j|Xo = i 


=2 


x P( 至 少 有 /一 1 个 正 整 数 4 使 X。4, = j|X。 = 


= DSPP(AL Xo = )) 


=f,PlAi| Xo = No | 《40) 
因为 状态 ; 取 法 的 任意 性 ， 反 复 利用 式 (40) ， 并 注意 到 P(4 |X。o 二 站 二 f;;， 便 得 
P(4|Xo 一 站 一 JP(4-iXo 一 力 
=fifiP(A-s| Xo = 力 
= = fy (fo (41) 
特别 地 ， 当 j==; 时 ， 由 式 (41) 直 接 可 得 ! 
PC(4|Xo = 7) = (fi) (42) 
定理 证 完 。 
下 面 再 来 建立 ei 与 包 或 (829) 之 间 的 关系 式 。 
定理 18 ”对 任 给 的 状态 i，j;€5， 则 有 


(1) ei == fijejj» (43) 
(ii) ej 人 fi Ejejj, (44) 
Ciii) 2 = lim Cfi)', (45) 


(iv) eis=0 等 价 于 所 过 1， es>0 等 价 于 太一 1， 或 e; 二 1 等 价 于 有 一 人。 

证 4 丸 仍 表示 定理 9 中 所 述 的 事件 ， 又 以 4 表示 事件 : {有 无 穷 多 个 正 整 数 % 使 得 六 
二 让。 显然 有 4D4+，! 一 1，2，…， 并 且 4 一 在 4=1im 4。 于 是 由 的 定义 式 (13)， 以 及 
式 (40)， 并 应 用 概率 的 连续 性 定理 ， 便 有 
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ej=P(A|Xo=i) = POlim A|Xo = i 
=lim PC4:| Xe 二 让 = lim JP(4-， |Xo 一 2) 
=fusP (lim Ar! [Xo 二 让 二 fiP (AXo 一 J = fiey, 
式 (43) 得 证 。 既 然 fi 与 ej 都 是 概率 ，0 志 J;;，e; 忌 1， 那么 由 式 (43) 即 得 式 (44)。 
当 ;=i 时 ， 由 式 (42)， 类 似 上 面 的 推导 ， 
es = Pim 4lXo =0) = limP(h|Xo = i) = limCi)’, 
式 (45) 得 证 。 

因为 0 志 所 过 1 或 者 所 ==1, 二 者 必 居 其 一 , 且 只 居 其 一 ， 所 以 lim (fa)! 或 者 为 0 或 者 为 
1， 二 者 必 居 其 一 ， 只 居 其 一 ， 再 由 式 (45)，(iv) 获 证 ， 定 理 证 完 。 

注 其 实 由 ej 与 方 的 概率 意义 立即 可 得 e 委 Jo。 而 式 (43) 的 直观 意义 也 是 容易 理解 的 ， 
系统 从 状态 i 出 发 , 以 后 无 穷 多 次 地 达到 状态 j 这 意味 着 系统 从 状态 i 出 发 后 至 少 有 一 次 达 
到 状态 ;， 然 后 又 无 穷 多 次 地 返回 到 状态 ;}, 但 是 必须 指出 如 果 没 有 马 氏 性 、 齐 次 性 是 不 能 
保证 式 (43) 一 定 成 立 的 。 

定理 11 对 任 给 的 状态 i,， jE€ 5， 

(i) 对 任意 的 正 整 数 ;x， 有 
= Die, (46) 


ES 


Gii) 如 果 ej 一 0， 则 2 < 


(ii) 如 果 ej > 0， 则 210 一 cc。 
证 4 表示 定理 10 中 所 述 的 同一 事件 ,利用 概率 的 完全 可 加 性 及 X 的 蕊 氏 性 、 齐 次 性 ， 


有 
eij =P(A|Xo 一 1 
= P(X 一 14|Xo = i 
ES 
一 了 1PCX。 一 ;有 无 穷 多 个 正 整数 4 之 wm 十 1, 使 X= j|X。 = 让 
ES 
二 >》)PCX。 二 4|Xo 二 让 PC( 有 无 穷 多 个 正 整数 4 之 1w 十 1, 使 X, 二 j|X。 = 
#€ES 
= > pI PAX, 一介 
ES 
一 Dj pe 
ES 
式 (46) 得 证 。 


如 果 ej 二 0， 由 式 (43)，, fejj= 二 0， 车 是 方 = 0, 根据 式 (22)， 对 一 切 正 整数 "都 有 
?9 二 0， 所 以 > =0<~, 若是 6% 二 0， 由 定理 10 之 Gv) 及 定理 4 之 推论 2， 等 价 地 


有 > 收敛 ， 再 由 杜 伯 林 公式 (24) 及 Ju<1 便 可 断定 > 必 收 全 (ii 得 证 。 
如 果 eu>>0， 仍 由 式 (43) 知 6 之 0， 再 由 定理 10 之 (iv) 及 定理 4 之 推论 2， 等 价 地 有 
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2 了 发散 ， 仍 利用 性 伯 林 公 式 及 f, 所 1 可 断 识 > ?六 必 发 散 ， 定 理 证 完 。 
最 后 指出 由 式 (2027 避 人 2 定义 的 数字 特征 岂 与 大 这 了 际 上 是 相等 的。 
定理 12 对 任意 洽 定 的 状态 i， 如 果 正 整数 售 i: 这 1 yp 之 站 ，{ R21 人 9 
0 竺 非 空 ， 则 
d= (47) 
证 因为 式 (22)， 对 一 切 正 整数 Rn， 个 忆 p 训 所 共生: a1 JO 庆 0 CC 4 字 1， 
?>>0}， 从 而 
太一 各 .CD 过 CD 人 (48) 
如 果 1， 那么 由 式 C9) 到 1 结论 记得 证 如果 人 2 1， 十 和 的 定义 ,对 每 个 1 
有 =f 引 = =0、 再 由 式 (23) 
po = fp + fp, + . 
知 六 二， ?=]，*…， 和 一 1。 
对 二 名 十 l=] 一】， 仍 自如 的 定义 ， 当 台 半 0，mod (4 如) 时 ，J49= 二 0， 于 是 从 
式 (23) 得 
Dt? = fH ph? = 0, 
现 作 归 纳 假定 ， 对 每 个 :1，…， 天 一 1 当 有 R= CM 一 DL 时, 已 有 pp 
二 0。 再 由 的 定义 ， 同样 的 道理 知 : 
ph 二 三 = fphY -— Da + 十 we 十 fb) pl!) — 0。 
A 恕 果 "不 是 是 太 的 整数 倍 ， 必 有 六 =0， 故 ta 321 > 中 的 数 
都 可 被 六 整除， 从 而 上 落 划 人 除 上 各 ， 所 以 AS ， 综 合式 (48) 得 上 王后， 定理 证 完 。 


4， 状 态 的 基本 属性 


在 我 们 可 借助 于 2 中 所 给 出 的 数字 特征 来 定义 区 分 不 同 状 态 的 各 种 基本 性 质 了 。 

定义 ” 设 ; 为 齐 次 马 瓜 链 的 一 个 状态 ， 如果 1 一 1， 册 称 为 常 返 的 〈 或 返回 的 、 持 久 
的 )， 如 果 坟 二， 则 称 ;为 非常 返 的 《〈 或 不 返回 的 、 滑 过 的 )。 由 f; 的 定义 ， 所 二 1 表明 系 
统 从 状态 ;出 发 必定 要 返回 到 状态 i 的 ， 再 由 定理 18 之 (iv) 知 这 时 有 上 = 上 即 表 示 系 统 从 
状态 i 出 发 必定 要 无 穷 多 次 地 远 回 到 状态 这 使 是 “ 常 返 ” 的 含义 。 如 果 [过 1. 仍 由 定理 
10 之 (iv) 知 等 价 地 有 es 二 0， 即 表示 系统 从 i 出 发 至 多 返回 i 有 穷 多 次 次 ， 以 后 再 不 返回 到 ; 
了 ， 这 就 是 “ 滑 过 ”的 含义 。 

如 果 六 =1， 而 且 入 = 和 2， 则 称 宇 为 消极 常 返 的 〈 或 橙 常 返 的 、 零 状态 ) 。 如 果 f==1， 
而 且 <co,， 则 称 ; 是 正常 返 的 。 当 凡 = 上 且 由 一 co 时 ,这 表示 系统 从 ;出 发 必定 要 返回 心 
但 是 平均 返回 时 间 却 是 无 鹤 大 ， 这 就 是 消极 党 运 ， 人 同 是 常 返 状态 .但 是 其 平均 
返回 时 间 有 有 穿 或 无 帘 立 六 , 即 返回 速 庶 有 快 或 慢 之 分 . 斤 有 映 在 转移 概率 的 极限 光 质 上 .其 
极限 有 正 或 零 之 分 ( 见 定理 16、 定 理 17)， 所 以 有 正 训 运 破 罕 党 返 的 不 同名 称 。 

称 状态 有 周期 4， 妃 果 以 下 两 个 条 件 成 立 : 

(i) 除了 有 茶 些 正 整数 nw， 使 得 4=wd，y9 之 0 之 外 ， 对 其 它 的 正 整 数 4，p 名 二 0， 

Gi) 《是 满足 条 件 (G) 的 最 大 整数 。 

如 果 状 态 i 有 周期 4、 而 且 4>1， 则 称 ; 是 周期 的 ， 若 1 二 1 则 称 ; 是 非 周期 的 。 
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如 果 状 态 i 是 常 返 的 、 非 零 的 、 非 周期 的 ， 则 称 此 i 是 遍历 的 。 

对 于 齐 次 马 氏 链 的 各 个 状态 ， 现 在 我 们 可 以 根据 它们 在 常 返 福 、 平 均 回 转 时 间 、 周 期 
性 上 的 各 种 不 同 表 现 加 以 区 分 。 但 是 ， 如 果 仅 仅 依据 上 述 定义 来 鉴别 一 个 状态 是 否 具 有 茶 
种 特性 ， 往 往 是 困难 或 麻烦 的 ， 因 此 需要 建立 一 些 简便 而 有 效 的 判别 方法 。 


$ 2 ”状态 属性 的 判别 及 其 有 关 性 质 


1. 常 返 性 的 判定 及 其 有 关 性 质 
定理 13 任意 给 定 齐 次 马 氏 链 六 的 状态 i;， 当 县 仅 当下 列 条 件 之 一 : 


0) i= = 1 (iD PLX 一 六 一 1 
(iii) Dp 发 散 ; (iv) ei>0 或 6=1i 


成 立时 ,i 是 常 返 的 。 

当 且 仅 当 下 列 条 件 之 一 : 

(i ) f= 1; 《ii ) P(T, < 一 co|Xe 一 上 < 

《证 ) ae 收敛 ; (iw) es=0 
成 立时 ,i 是 非常 返 的 ， 

证 由 常 返 和 非常 返 状 态 的 定义 ; 式 (2)、 式 (7)， 定理 4 之 推论 2， 以 及 定理 10 之 
(iv) 即 得 本 定理 。 

注 >7p 在 判别 状态 i 的 常 返 福 中 起 着 重要 作用 ,这 是 因为 它 具 有 如 下 明显 的 概率 
意义 ， 由 式 (141)， 条 件数 学 期 望 


slNj|Xo =i) = DB Xo = 41) 
#1 


= VPR = jl =) = 2。 (49) 
Nl = | 


车 i 是 常 返 的 , P (N=o31Xo=i) =6=1, 喜 3 中 = BN|Xo=i)=0， 


| 
推论 ”对 任意 给 定 的 状态 i，;， 则 
ff 车 了 是 常 返 的 
\o, 若 是 非常 返 的 

证 由 式 (43) 及 定理 13 之 Gv)、Gv ) 邮 得 起 (50)。 

定理 14 对 任 给 的 状态 ;，j、 如 朵 i 是 常 运 的 ， 且 名 >)， 央 7 出 是 常 返 的 。 如 果 3)， 
则 i 与 j 同 为 常 返 状态 或 同 为 非常 返 状 态 。 

证 车 i=j, 结论 自然 成 立 。 现 在 假定 i 尖 j， 由 式 (36) 与 式 (33) 得 

FC2)P 2) = PR) OCS), Iz1 -过 1。 
对 此 式 两 边 在 z 人 1 之 下 取 极 限 ， 应 开 阿 贝 评 《Abel》 定 理 便 有 
FA DPl) = Pa DoD, (51) 


€; 一 
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由 假设 条 件 i 过; 及 定理 7、 定理 8 知 ， 0<fjy=FRi(1)<1, 0<gy= Gi(1)。 又 因 i 是 常 
返 的 , 依 定理 13 之 (ii) 知 Pi(1) = 2) p99 = co 。 将 它们 代入 式 (51) 中 ,得 Py(1) = ?外 


se0 a= 


二 co， 再 由 定理 13 之 (iD 斯 言 ;是 常 返 的 。 

如 果 i 局 ;, 且 i 是 非常 返 的 , 那么 ; 必 是 非常 返 的 。 倘 若 不 然 ;是 常 返 的 , 由 上 面 已 证 
的 结果 知 ; 也 是 常 返 的 ， 这 与 假设 矛盾 。 综 上 所 证 ,，; 与 了 同 为 常 返 的 或 同 为 非常 返 的 。 
. 注 ”如 果 状 态 ;是 非常 返 的 , 且 i 坊 j, 则 i 必 是 非常 返 的 , 否则 车 i 是 常 返 的 , 由 定理 
14 了 也 是 常 返 的 ， 这 与 假设 矛盾 。 

如 果 状 态 i 是 非常 返 的 , 且 i 过 j, 那么 1 未 必 是 非常 返 的 。 考 察 状态 空间 83 一 {i, 刘 ,一 
步 转移 概率 矩阵 为 

i j 
if0 1 
jo 
的 齐 次 马 氏 链 ， 因 py 二 1， 故 i 过;j， 对 任何 正 整数 4 都 有 
0 1 0 1 
| | -| | ， 

故 2 pp 一 0 之 > 一 六 1 - co ， 由 定理 13 知 ;是 非常 返 的 而 ;是 常 返 的 ， 

定理 15 任意 给 定 状态 i，;， 如 果 i 是 常 返 的 ， 且 i=>j， 则 

ej 二 ex= 1,， (52) 

从 而 y= fx= 1。 (53) 

证 因 i 是 常 返 的 ， 利用 式 (46) 及 定理 13 之 (D ， 便 得 

0=1—e= DPRUm en), n=1,2," 
#ES 


上 式 右 方 级 数 中 每 项 皆 非 负 ， 故 对 每 个 正 整 数 w 及 状态 k€5 都 有 PY(1 一 en) 二 0。 又 由 
假设 i 之 ;7， 所 以 必 有 某 个 正 整数 羡 使 p>>0， 于 是 1 一 ej 二 0， 即 ej; 二 1。 再 由 式 (41) 必 有 
fx=1。 

既然 fj 盖 0， 从 定理 7 知 了 全 记 因此 i63;, 依 定理 11, j 与 i 一 样 是 常 返 的 , 完全 对 称 
地 利用 前 面 已 证 的 事实 即 得 @j==1， 从 而 广 ==1， 定 理 证 完 。 

推论 ” 常 返 状 态 必 是 本 质 状 态 。 

证 设 i 是 常 返 状 态 , 车 i =>j, 由 式 (53) 知 f=1>>0, 均 7 过 i， 因为 了 的 任意 性 ， 依 
定义 1 是 本 质 的 。 

注 ”如 果 状 态 i 是 本 质 的 ， 即 若 i 过;， 则 必 j 过;， 那 么 此 i 是 否 为 常 返 的 呢 ? 回答 未 
必 。 试 考察 下 例 。 令 齐 次 马 氏 链 {X,，# 二 0，1，…}) 的 状态 空间 8S= (0，1，2，…}， 一 
步 转 移 概率 为 


1 . 
20 一 31， Nt 二 工 一 51， 一 01 2 


由 此 知 8 中 任何 两 个 状态 都 是 互通 的 , 所 以 每 个 状态 都 是 本 质 的 , 特别 地 状态 0 是 本 质 的 。 
但 是 
上 一 Joo 一 己 (， 天 0,n 一 1 2，…|Xo 一 0) 
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= lim P(X, 关 0,n 二 1,2… YXo 一 0) 


= lim 202i2 yy y 
NM-wco 


N—1 1 
= lim [| 1 一 ZHI 
ie 人 


N00 、 


0 


因为 2 5 一 1<co, 所 以 依 无 穷 乘积 收敛 的 充 要 条 件 知 上 式 右 方 极限 收敛 于 一 正 数 , 从 而 


得 fw 过 1, 即 状 态 0 是 非常 返 的 ,此 例 说 明 本 质 状 态 ; 一 般 未 必 是 常 返 的 。 但 是 倘若 存在 常 
返 状态 ; 使得; 之 六 根据 定理 14, 这 时 i 是 常 返 的 ,此 外 当 状 态 空间 8 是 有 限 集 时 , i 也 是 
常 返 的 。( 见 iv、 定理 4) 
为 了 进一步 寻求 判定 常 返 状态 是 正常 返还 是 零 常 返 的 方法 ， 需 要 如 下 重要 的 结论 。 
定理 16 对 任意 给 定 的 状态 ;， 如 果 i 是 常 返 的 ， 且 有 周期 4;:， 则 存在 极限 


lim ph = 作 。 (54) 


Ne 


其 中 是 i 的 平均 回转 时 间 ， 并 规定 当 ww 一 co 时 ， 立 为 0。 
证 因为 状态 i 暂时 固定 ， 不妨 简 记 pO、J 名 、d、 如 分 别 依 次 为 加 、 丰 、L、p。 令 尺 
一 2 下, 4 二 0,1,,* ， 由 于 i 是 常 返 的 及 式 (23)， 则 有 


Lal | 


7op = p= Dfope = Dr rp n= 0,1, 
p=} vr] 


从 而 对 一 切 n= 0， 1 Drop., 一 Yo 成 立 ， 即 yp 不 依赖 1 之 0， 注意 到 Topo 
一 1， 于 是 


Dp 1l, 一 0,1 (55) 
vO 
令 1 一 lim sup pw， 由 < 的 定义 知 
4 = lim sup pu = lim sup yp,» (56) 


于 是 必 有 子 列 (nm ,m= 二 1,2,"* } 使 得 当 m00，Wh—”00、 且 4 一 lim Ddo 


由 于 ;+ 是 常 返 的 ， 访 一 1， 故 必 有 某 正 整数 :使 />0， 又 由 式 (47)4 可 整除 t， 再 利用 式 
(23) 得 


[法 | 
2 一 iim inf pe = lim inf{ fp 十 > fp 
经: 
魏 几 lim inf pit { > lim sup pu 
et 
= flim inf 及 :一 十 《1 一) 


因此 lim inf pz。 之 和 ,结合 式 (56) 便 知 对 每 个 使 />>0 的 上 及 每 个 使 lim ?一 和 的 子 列 (ny 避 
之 1 都 有 lim pw- 一 2 注意 到 上 是 ! 的 倍数 ,反复 应 用 此 式 , 则 对 任何 正 整 数 c 都 有 tim pa 


二 4， 从 而 更 一 般 地 对 形 如 4 = > cx 的 正 整 数 x 仍 有 
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lim pv 一 和 (57) 


其 中 1，c.，1&z&! 和 皆 为 任意 的 正 整 数 ， 而 每 个 (1 所 sl) 是 使 六 >0 的 正 整数 。 因 为 式 
(47)， 必 有 满足 所 >0 的 4 上，1 委 :2 科 4， 使 4 一 G.C.D. 人 ,1 安安 小 。 再 由 初 汪 数论 知 只 知 必 


存在 某 正 整数 NN。， 对 每 个 正 整 数 入 守 M。， 有 相应 的 正 整 数 c,，1 志 zl, 使 得 Nd = you ， 
由 式 (57) 有 


lim po -we 二 2， 六 之、o。 (58) 
现在 式 (5) 中 取 #= (nm 一 No)4， 并 注意 到 4 不 能 整除 "时 ，zm=0， 便 有 
Sy Tod Po ~ Nr = ] 。 (59 ) 
r=0 


当 Dm < 时 ， 在 式 (59) 中 令 mm 一 oo， 由 式 (58) 及 勒 贝 格 (Lebesgue》 控制 收敛 定理 得 


ce 


:2 当 Dm 一 呈 时 ， 容 易 分 析 推 证 :一 0"4， 于 是 无 论 哪 种 情形 都 有 
0 一 fr, (60) 
由 式 (30)、(21)、(47)， 当 4 不 能 各 除 时， 广 =0, 再 依 rs 的 定义 便 知 r 一 二 > ,于 
是 
> = >. (61) 
利用 传 比 尼 定理 还 有 加 
、 一 和 = 4 (62) 


a=U 有 


将 式 (62)、(61U 代 入 式 (60) 中 得 2 一 LV/A。 


著 令 6=lim inf pu, 对 应 地 仿照 前 面 的 方法 可 证 Ap 一 4/w， 综合 两 者 断言 lim pw 存在 并 为 
d/hk, 定理 证 完 。 
定理 17 设 状态 ;是 常 返 的 ， 则 
(i) i 为 零 常 返 的 充 要 条 件 是 在 在 极限 
lim bv = 0; (63) 
Ci) ;为 遍历 的 充 要 条 件 是 存在 极限 
lim ze = 二 > 0. C64) 


证 如 果 让 为 零 稼 返 ， GD 0 但 是 当 # 关 0, mod(d) 时 , p= 二 0, 故 存 
在 lim ?=0。 反之 , 如 果 !lim ps 一 0， 而 设 : 是 正常 返 的 , 拖 么 由 式 (54) 极 限 iim 7 存在 且 


on 


大 于 零 ， 这 与 lim p=0 子 拓 ， [i t 作为 罕 常 过 ， (i) 得 证 。 


如 有 lim 一 二 >0， 由 Gi 必 为 正常 返 的 县 1im Mo 一 一 ， 与 式 (54? 对 比 得 4=1， 故 ; 


Py 


是 非 膨 期 的 从 而 是 台历 的 。 反之 、 由 定理 16 显然 成 立 ，( 让 证 完 。 
注 ”因为 常 返 状态 不 是 零 常 返 便 是 正常 返 的 ， 所 以 定理 17 之 人 出 是 正常 运 状 态 的 判 


第 二 章 ”状态 的 分 类 31 


别 条 件 。 或 由 定理 16 知 具 有 周期 4 的 常 返 状态 i 为 正常 返 的 充 要 条 件 是 存在 极限 
lim pf 一 和 > 0, (65) 


定理 18 ”对 任意 给 定 的 常 返 状态 i 如 果 次 太 态 ji 则 ;与 i 同 为 正常 返 或 同 为 零 常 
返 。 
证 由 ji 及 定理 14 知 ;是 常 返 的 ,而且 存在 正 整数 mw、l 使 ?全 盖 0， 郊 >0。 再 用 
C-K 方程 ， 对 任何 正 整数 w 便 有 
Vt > pp pI (66) 
ptrtd > p> pp pi, (67) 
由 式 (66)、(67? 即 知 lim 7 和 一 0 等 价 于 jim 罗 一 0， 于 是 据 定理 17 之 Gi), i 与 中 有 一 者 为 
零 常 返 另 一 者 必 为 零 常 返 ， 一 者 为 正常 返 另 一 者 必 为 正常 返 


2， 周 期 性 的 判定 及 其 有 关 的 性 质 


定理 19 任意 给 定 的 状态 ;具有 周期 4 的 充分 必要 条 件 是 =G. C.D. {rn: "六 上 1， 

2 过 0)， 从 而 
== (68) 

证 必要 性 。 若 状态 ;有 周期 4， 由 定义 条 件 之 人知 tx: 1 之 1， 一 0}) 非 室 ， 而 且 使 
2 之 0 的 4 必 须 是 4 的 正 整 数 倍数 , 故 G.C.D. (a:n 宇 1,p 人 之 0}) 必 是 4 的 正 整 数 倍数 。 于 是 
可 记 1v 一 G.C.D. (nn 之 1 ,pO>0}。 此 式 表 明 除 了 nn 是 id 的 正 整 数 训 倍 即 4==m (Cd) 之 外 ， 
对 其 它 的 a 都 是 y?==0。 又 根据 :有 周期 4 的 定义 条 件 之 Gi), 《是 具有 上 述 性 质 的 最 大 整 
数 ， 这样 [二 1， 即 4=G. C.D, {ni.2 宇 1 ,1 二 0}， 

证 充分 性 。 假定 有 d==G. C.D. {9:4n 宕 1 ,7 名 之 90}, 这 意 昧 集 fx: x 宇 1, ?之 0) 非 空 , 而 
且 除 了 ?是 《的 正 整数 疡 倍 即 4=wi 之 外 ， 其 它 的 4 部 有 p=0， 即 此 4 满足 定义 条 件 之 
(iD 。 倘 若 还 有 正 整 数 汪 > 4d ,使 得 除了 n=wmd 的 傅 形 外 ， 其 它 的 4 都 有 p==0, 既然 { 

n 之 1]，V? 之 0} 非 空 ， 那么 此 必 是 4: rn 宇 1，p?0}) 的 公约 数 ， 但 是 了 二 这 与 4 是 
人 :2 之 1，8 盖 0} 的 最 大 公约 数 的 假定 耶 盾 ， 这 说 明 如 此 之 4 不 存在 ， 故 x 满足 定义 条 
件 之 〈iD ， 状 态 ; 有 周期 v。 

由 上 所 证 及 式 (47) 即 得 式 (68)， 定 理 证 完 。 

注 若 (3: "2>1， 和 0) = 二 名， 此 状态 i 必 是 非 本 质 的 ， 对 此 # 无 周期 可 言 。 

定理 20 ”如 果 存 在 正 整 数 ”… 使 齐 次 马 氏 链 的 普 步 转移 概率 矩阵 fo ] 中 ,相应 于 某 

态 ;的 那 列 元 素 全 不 为 零 ， 则 状态 7 有 周期 ， 并 且 是 非 周 期 的 。 

证 由 假设 对 一 切 iE8, yj 入 >0。 由 式 1 05) 知 0< 2 一 > ppp wu, 因 


es 
此 必 有 某 2ES 使 zw,>>0, 进而 出 C-K 方程 及 假设 有 之 pi p>>0, i€E 5。 特别 地 , 便 有 
人 +0>>0，19 人 >0， 这 表明 tn， w 宇 1，y 久 之 0} 天 名 含有 元 素 mx、mx 十 1， 所 以 ;有 周期 ， 其 
周期 为 G. C.D. {sn:n 守 1,p99 汪 0) 二 1， 即 j 是非 间 期 的 。 

定理 21 设 状态 i 有 周期 4, 则 必 存 在 正 整 数 和 ,使 得 所 有 大 于 或 等 于 和 No 的 正 整数 YY， 
都 有 p>>0。 | 

证 正 整 数 集 {n; w 宇 1， 2 记 0 总 可 写成 二 1 2 记 必 会 G.C.D. (av 
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1 ， 妈 一 1，2，…， 依 此 定义 及 定理 19 有 出 之 4 之 "之 4 之 1， 显然 是 一 有 限 正 整 数 ， 故 
必 存 在 正 整 数 ! 使 得 ! 一 gr 一 … 一 (因此 《=G.C.D. {my,…,m} ,应 用 初等 数论 知识 知 必 存 
在 正 整 数 Ne， 使 得 对 任何 不 小 于 Ne 的 正 整 数 Y 都 有 如 下 的 表达 式 


Nd 一 Nn 十 ， … 十 Nim (69) 
其 中 Ne， =1，…，! 皆 为 相应 应 的 正 整数 ， 由 式 (69) 及 C-K 方程 便 有 
» p80 之 TTae。 > JI JJ]v > 0。 


定理 证 完 。 

定理 22 任意 给 定 两 个 状态 i、j， :SS7， 则 i 有 周期 4:，; 有 周期 4;， 而 且 d==4。 

证 因 ; 捕 /， 所 以 有 正 整数 人 使 称 >0，? 各 >>0， 从 而 由 C -KK 方程 得 :p48 之 p 久 
p>0，p1D 之 p>>0， 即 人 ;1 宇 1 ,p>0) 与 4: 2 宕 1，2 信 >>0) 皆 非 空 ， 磷 示 7 
都 有 周期 , 分 别 依次 记 为 4、dj。 根据 定理 19, 除了 # 能 被 刀 整 除 之 外 ,都 有 7 名 =0, 因此 
! 十 m 必 能 被 4 整除。 如 果 不能 被 4 整除， 那么 ! 十 x 十 mw 也 不 能 被 4 整除 ， 从 而 p98"*” 
一 0, 由 式 (66) 得 p=0, 这 样 ;的 周期 4; 必 能 被 如 整除 。 由 式 (67) 完 全 对 称 地 可 得 上 必 能 
被 d; 整除 ， 故 4 二 d;， 定 理 证 完 。 


$3 状态 空间 的 分 解 


前 面 8 1、8 2 是 对 单个 状态 的 性 质 进行 了 讨论 , 那么 还 应 该 对 所 有 状态 从 整体 上 进行 
剖析 ,在 本 节 中 首先 将 按照 状态 之 间 的 互通 关系 把 整个 状态 空间 分 解 成 若干 个 状态 类 之 并 ， 
考察 同一 类 中 状态 在 转移 规律 上 的 共性 ， 然 后 再 去 揭示 出 马 氏 链 的 基本 概率 结构 。 


1， 状 态 类 与 闭 集 


所 谓 一 个 状态 类 是 状态 空间 8 中 满足 如 下 条 件 的 一 个 最 大 的 子 集 : 其 中 的 任何 两 个 状 
态 (不 同 的 或 相同 的 ) 互通 ， 即 将 互通 的 状态 都 归属 于 同一 类 ， 而 “最 大 ”是 指 对 此 状态 
子 集 不 可 能 再 添加 入 与 此 子 集中 每 个 状态 都 互通 的 其 它 状态 了 。 显 然 含 有 状态 ;的 状态 类 
应 是 全 Utj5ES,5 庙 记 为 SGD。 特 别 地 ， 对 于 不 可 达到 自己 的 状态 i， 尽管 (让 并 不 符合 
一 个 状态 类 的 定义 ,但 因此 ;与 任何 状态 都 不 互通 ,这 样 只 好 将 {让 规定 为 一 个 状态 类 。 结 
合 下 面 的 定理 便 可 指出 每 个 状态 属于 且 只 属于 一 个 状态 类 。 

定理 23 ”两 个 不 全 同 的 状态 类 必 不 相交 。 

证 ”倘若 不 然 , 这 两 个 不 全 同 的 状态 类 有 公共 元 素 状态 ;, 通过 ;以 及 互通 关系 的 传递 
性 ， 这 两 个 类 中 的 所 有 状态 都 是 两 两 互通 的 ， 依 状态 类 是 最 大 的 互通 状态 集 的 定义 ， 这 两 
个 状态 集 应 并 为 一 个 类 ， 不 可 能 是 两 个 不 全 同 的 状态 类 ， 这 与 假设 矛盾 ， 从 而 定理 得 证 。 

由 定理 14、 定 理 18、 定 理 22 立即 可 得 下 面 的 结论 。 

定理 24 任何 一 个 状态 类 中 的 所 有 状态 或 同 为 非常 返 的 ， 或 同 为 常 返 的 ， 或 同 为 正常 
返 的， 或 同 为 零 常 返 的 ， 或 同 为 非 周期 的 ， 或 同 为 周期 的 ， 并 且 都 具有 相同 的 周期 。 

定理 24 表明 常 返 性 ,周期 性 等 都 是 类 性 质 。 如 果 一 个 状态 类 中 的 每 个 状态 都 是 常 返 的 ， 
便 称 它 为 常 返 类 ,依据 定理 21 类 似 地 还 有 非常 返 类 、 正 常 返 类 、 零 常 返 类 、 周 期 类 、 非 周 
期 类 等 名 称 。 
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定理 25 任 一 状态 类 中 的 所 有 状态 或 同 为 非 本 质 的 , 或 同 为 本 质 的 , 分 别 相 应 地 称 为 
非 本 质 类 或 本 质 类 ， 而 且 从 本 质 类 中 任 一 状态 都 不 能 到 达 别 的 状态 类 中 的 任 一 状态 。 

证 由 定理 2 及 状态 类 、 本 质 状态 的 定义 即 得 本 定理 。 

定理 25 指出 从 本 质 类 中 的 状态 ;出 发 必 能 且 只 能 到 达 SG 中 的 每 个 状态 ,不 可 能 到 达 
SC 之 外 的 任何 状态 ,但 对 于 非 本 质 类 不 再 具有 这 种 性 质 . 由 此 引出 了 闭 集 及 有 关 的 一 系列 
基本 概念 与 结论 。 

定义 设 C 是 状态 :空间 8 的 子 集 ， 如 果 在 C 之 外 的 任 一 状态 都 不 能 自 C 内 的 任何 一 个 
状态 达到 ， 即 i 地 j 对 一 切 iEC，j€EC 会 5 一 C 都 成 立 ， 则 称 C 为 闭 集 。 如 果 单 个 状态 i 构 
成 的 集 亿 是 闭 集 ， 则 称 此 i 是 吸收 状态 。 任 一 闭 集 CSS, 如果 C 中 再 不 含有 任何 非 空 闭 的 
真子 集 , 则 称 此 C 是 不 可 分 的 或 极 小 的 。 依 定义 状态 空间 8 可 看 作 是 最 大 的 闭 集 , 如 果 S 是 
不 可 分 的 ,这 时 称 此 马 氏 链 是 不 可 分 的 ,否则 称 为 可 分 的 。 任 给 状态 子 集 DE5, 包含 D 的 
一 切 闭 集 的 交 ， 称 为 DP 的 闭 包 ， 记 为 5。 

现在 来 给 出 与 上 述 概 念 有 关 的 一 系列 定理 。 

定理 26 设 {C0,，t€E7T} 是 状态 空间 5 中 的 若干 个 闭 集 ， 其 中 7 是 参数 集 ， 则 人 OC: 仍 
是 闭 集 。 

证 对 任何 i nC， i 0, 那么 jE UG:， 于 是 必 有 如 使 JE Ci ,iE€ Ch， 既 然 C, 是 
闭 集 ， 故 六) 依 定 义 C 是 闭 集 ， 证 完 。 

由 定理 26 便 知 任 一 状态 集 2 的 闭 包 D 是 含 D 的 最 小 闭 集 。 

定理 27 当 且 仅 当 对 任何 iC，jEC* 都 有 b= 二 0 时 ,4 是 一 闭 集 。 

证 由 闭 集 的 定义 ， 必 要 性 显然 。 现 证 充分 性 ， 因 为 假设 条 件 及 C - K 方程 有 

z 久 = Zp 十 mm 一 0，iEC，JjEC， 
现在 假定 已 有 p=p9’ 二，… .p=0, iec， jEC*， 则 
p+ = 和 2 pi ps 十 Zr 一 0， 


再 由 归纳 法 即 得 ， 对 任何 正 整数 4，; p=0, ice， jEC"， 依 定义 C 为 闭 集 ， 定 理 证 完 。 

定理 28 i 为 吸收 状态 的 充分 必要 条 件 是 p=1， 即 从 i 出 发 以 概率 1 永远 停留 在 状态 
i 上 。 

证 语 为 吸收 状态 即 仙 是 闭 集 , 再 由 概率 的 完全 可 加 性 , 1 = pi 十 2 ， 以 及 定理 27 
便 得 本 定理 。 

定理 29 ” 任 给 状态 i， 则 人 的 闭 包 为 

{= U0:j€ES i>j}。 (70) 

证 记 D= 人 UU 0:7 EE 5,i 访 站 ， 先 证 2D 为 闭 集 ， 倘 若 不 然 ， 依 闭 集 之 定义 必 有 状 
态 jED、kEVD 使 得 ;过 k, 依 D 的 定义 知 j 尖 i 且 i 之 j, 再 由 可 达 关 系 的 传递 性 得 i=>k, 但 
这 与 £€E 户 牙 盾 ， 所 以 D 必 为 闭 集 。 1 

再 证 是 含 ;的 最 小 闭 集 。 设 C 是 合 i 的 任 一 闭 集 ， 往 证 6 二 D， 倘 若 不 然 有 kAED,k 
头 i， 但 1&G， 那么 由 6 是 闭 集 知 ; 地 k， 这 与 1€D 及 万 的 定义 相 了 矛盾 ， 这 表明 只 能 zE C， 
结论 得 证 。 

定理 30 设 C 是 一 闭 集 , 当 且 仅 当 C 中 的 任何 两 个 状态 《相同 或 不 同 ) 都 互通 时 ,C 是 
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不 可 分 的 “〈 极 小 的 ) 。 

证 ” 先 证 充分 性 。 设 D 为 任 一 非 空间 集 且 DEC， 令 jiE DGC,， 因为 闭 包 {i) 是 含 i 的 
最 小 闭 集 ， 所 以 全) Cp, 由 定理 29 及 C 中 任何 两 个 状态 都 互通 的 假设 知 ti} 三 C， 综 上 
所 证 得 

D=0 = {i), (71) 
故 C 不 含 任 何 非 空 闭 真子 集 ， 即 C 不 可 分 。 

再 证 必要 性 。 设 C 是 不 可 分 闭 集 ， 如 果 有 ji JE C， 话 ) 且 i 将 J， 那 么 由 定理 29 知 
汉人 站 ,并 人 Ct 站 5SCC， 又 因 定 理 26 得 人 站 C 是 售 i 不 含 j 的 C 的 非 空 逆 真 子 集 ， 
这 与 C 不 可 分 的 假设 矛盾 ， 由 此 断言 必 有 守之)， 对 称 地 也 有 > 芒 i， 即 i 司 ;， 定 理 证 完 。 

推论 ” 齐 次 马 氏 链 不 可 分 的 充分 必要 条 件 是 其 状态 空间 中 的 任何 两 个 状态 〈 相 同 或 不 
则 ) 都 是 互通 的 。 

定理 31 如 果 在 齐 次 马 氏 链 的 x (=1，2，…) 步 转移 概率 矩阵 Po = [zy4?] 中 ,将 
某 闭 集 C (CS) 以 外 的 状态 所 对 应 的 一 切 行 和 列 全 部 删 去 ， 所 剩 的 行 积 列 保 持 相 对 位 置 不 
变 而 构成 的 方 阵 P= 二 【yp 如 ]xs 仍 是 一 随机 矩阵， 是 2 的 子 随机 矩阵。 

证 对 任何 i，jE€ECCS，p 名 之 0， 由 团 集 C 之 定义 ， 对 任何 i0，j&C 有 2 二 0， 故 
从 概率 的 可 加 性 得 

1 = Dp = D+ Dp = Dp (72) 
JES JEC jC FEC 
依 随 机 和 矩阵 的 定义 ， 结 论 得 证 。 
注 根据 定理 31 P&? 是 随机 矩阵， 于 是 若 再 附加 上 一 个 定义 在 C 上 的 初始 分 布 , 由 
. 定理 3 便 可 确定 一 个 状态 空间 为 C 的 转移 概率 矩阵 为 PV 的 齐 次 马 氏 链 ， 可 将 它 看 作 

避 拓 马 氏 链 六 于 马 训 

值得 注意 的 是 状态 类 与 闭 集 这 两 个 概念 是 有 差异 的 ， 它 们 之 问 并 没有 从 属 关系 ， 即 状 
态 类 未 必 是 闭 集 ， 闭 集 也 未 必 是 状态 类 。 

例 1 设 齐 次 马 氏 链 的 一 步 转移 概率 矩阵 为 

0 0 2 
Po % 和 % 0 | (73) 
| 0 0 % "| 


易 验 证 由 每 一 个 状态 i 构成 的 {i 都 是 非 本 质 状态 类 但 不 是 闭 集 。 又 每 个 状态 集 ti, i 十 1， 
} 都 是 闭 集 ， 而 且 还 是 可 分 的 ， 所 以 此 例 也 说 明 一 个 闭 集 可 以 不 包含 不 可 分 闭 子 集 。 
例 2 设 齐 次 马 氏 链 的 - 步 转移 概率 矩阵 为 
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让 ts ls 4 5 i 

uf % 0 0 0 0 

zs % 0 0 0 0 

ia |0 0 IJ % 0 0 
P=ia|l0 0 % 0 0 (74) 

isl0 0 0 0 所 所 

il0 0 0 0 其 所 


易 验 证 由 状态 如 、i、ia、 构成 的 全 ,如 ， 5 ， 4} 是 一 财 集 但 不 是 状态 类 。 

尽管 如 此 ， 状 态 类 与 闭 集 却 有 着 密切 的 联系 。 设 C 是 一 闭 集 ， 又 状态 iEC， 那么 由 闭 
集 的 定义 知 含有 ; 的 状态 类 SOD= {3U(i:j€E5,jSijSCC， 由 此 可 断言 闭 集 一 定 是 若干 个 
状态 类 的 并 集 。 

定理 32 一 状态 集合 C 是 不 可 分 哮 集 的 充分 必要 条 件 是 C 为 一 个 本 质 类 。 

证 充分 性 。 设 2 为 本 质 类 ， 对 任何 EC，5GC， 倘 若 有 : 过 jj， 由 i 是 本 上 质 的 知 7 
之 i, 于 是 i Sj, 既然 状态 类 C 是 最 大 的 都 .互通 的 状态 集 , 那么 jEC, 但 这 与 j&C 著 盾 , 故 
六 )， 这 表明 C 为 闭 集 ， 再 由 定理 30 知 C 是 不 可 分 的 。 

再 证 必要 性 。 设 C 是 不 可 分 闭 集 ， 由 式 (71) 与 (70)， 对 任何 经 C 有 

C= {1i)}= (i U (jj€ di), 
此 式 表明 从 C 中 任 一 状态 i 出 发 可 到 达 ¢ 中 的 任 一 状态 ,而 且 只 能 到 达 C 中 的 状态 , 故 C 是 
一 个 最 大 的 都 互通 的 状态 集 ， 从 而 C 是 一 个 本 上 填 类 。 

定理 33 有 限 多 个 非 本 质 类 之 并 一 定 不 是 财 集 。 

证 应 用 反 证 滩 ， 没 Ci，…， 0, 是 4 个 非 本 质 类 ， 倘 若 并 C= UU Cs 是 闭 集 ， 那么 对 任 
一 站 EC EE 人 必 有 EC%CC, mE {1，…, 有 使 得 6， 但 训 妆 nn。 
又 因 同 一 状态 类 中 的 状态 都 是 互通 的 ， 所 以 友 关 mi， 而 且 Co 中 的 任 一 状态 可 到 达 C。, 中 的 
任 一 状态 ， 表 为 C. 人 cu， 但 Co 中 的 任 一 状态 不 可 到 达 Cu 中 的 任 一 状态 ， 表 为 C。 将 C。， 
反复 照 此 法 做 下 去 ,对 任意 给 定 的 正 整数 人 >w 应 有 ; Cw 地 Cw 过 C6 Cw 总 Co ，… 
Cn 六 Co 7， 0，…， 儿 两 两 互 不 相同 ,但 my 和 1 ,n} 显然 矛盾 , 故 C 不 是 

注 例 1 说 明 无 限 多 个 非 本 质 类 的 并 集 却 可 以 是 闭 集 。 

定理 32 与 定理 33 是 用 本 质 基 或 非 本 质 类 来 表征 闭 集 的 结构 。 进 而 再 来 讨论 状态 空间 
S 的 结构 。 


2， 状态 空间 的 分 解 


由 定理 32 及 定理 24 直接 可 得 下 面 的 结论 。 

定理 34 任何 一 个 不 可 分 闭 集 或 本 质 类 中 的 所 有 状态 或 同 为 非常 返 的 ， 或 同 为 常 返 
的 ， 或 同 为 正常 返 的 ， 或 同 为 零 常 返 的 ， 或 同 为 非 周 期 的 ， 或 同 为 周期 的 ， 而 且 这 时 都 具 
有 相同 的 周期 。 

定理 35 (Gi) 对 任意 给 定 的 常 返 状态 ;， 必 存在 唯一 的 不 可 分 闭 集 (或 本 上 质 类 ) 0 人 
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使 得 经 CGO ， 而 且 对 任何 Jy，4ECGDD 有 太一 记 一 1 

《ii) 对 任 给 的 两 个 常 返 状态 i，j,，CC9 与 CC( 站 是 如 G) 中 所 确定 的 两 个 不 可 分 闭 集 ， 则 
或 CO 人 NCOD)= 名 ,或 CQ 二 CO)， 二 者 必 居 其 一 ， 且 只 居 其 一 。 

证 取 CO)= 人 {i), { 订 是 含 i 的 最 小 闭 集 , 由 定理 14、 定理 15 知 { 订 全 由 常 返 状 态 构 成 ， 
县 对 任何 站 E 从 ,f= 所 二 1， 故 jk, 依 定理 30 便 知 们 是 不 可 分 的 。 再 用 定理 32 与 
定理 23 可 得 此 CGO) 是 唯一 的 。(i) 得 证 。 应 用 定理 32 与 定理 23 即 得 (ii) 。 

定理 36 《分解 定 理 ) ” 任 一 齐 次 马 氏 链 的 状态 空间 3 可 唯一 地 分 解 成 有 限 多 个 或 可 列 
无 限 多 个 互 不 相交 的 状态 子 集 D,01,0:,… 之 并 ， 即 

S=DUCUCGU.,, (75) 

其 中 GD D 是 所 有 非常 返 状 态 组 成 的 状态 子 集 ; 

(ii) 每 个 C. (x= 二 1，2,，…) 是 由 常 返 状 态 组 成 的 不 可 分 闭 集 ， 从 而 0, 中 的 一 切 状 态 ， 
或 同 为 正常 返 ， 或 同 为 零 常 返 ， 并 有 相同 的 周期 ， 又 对 任何 i;,j E 0,, 总 有 方 一 1。 

证 每 个 状态 不 是 常 返 的 便 是 非常 返 的 , 记忆 是 全 体 非 常 返 状态 集 , 那么 S=DUP, PD 
是 全 体 常 返 状态 集 ， 根据 定 理 35 可 唯一 地 分 解 为 互 不 相交 的 不 可 分 的 闭 常 返 状态 集 C,， 
C2，、… 之 并 ， 再 由 定理 34 即 得 本 定理 。 

定理 37 设 C 为 不 可 分 闭 集 或 本 质 类 ， 周 期 为 4， 对 任何 状态 i。 JEC， 如 果 p90 之 0， 
堆 *>>0， 则 mz 一 m1 必 能 被 2 整除 。 

证 由 假设 条 件 知 i 是 本 质 状态 , 而 且 : 全 六 故 j 坟 i, 于 是 有 正 整 数 2 使 得 ? 久 盖 0, 再 
用 C-K 方程 得 

了 > php > 0, pit 2 pop > 0, 

据 定理 19, nn 二 与 12 十 到 均 能 被 a 整除 ， 故 RB2 Rl 必 能 被 d 整除 ， 证 完 。 

定理 37 说 明 在 一 个 周期 的 不 可 分 闭 集 或 本 质 类 中 ,从 一 个 状态 转移 到 另 一 个 状态 必定 
是 周期 的 发 生 ,， 于 是 周期 为 4 的 不 可 分 闭 集 可 按 下 面 定理 所 述 的 方法 分 割 为 4 个 互 不 相交 
的 状态 子 集 之 并 。 

定理 38 设 C 是 周期 为 4 的 不 可 分 闭 集 或 本 质 类 , 则 0 可 唯一 地 分 解 为 4 个 互 不 相交 
的 状态 子 集 Go，G1，…，Gi-! 之 并 ， 即 


C =Uo.; G NG= GG, ml (76) 
而 且 对 任何 EO0,， m= 二 0， 1 ， 9 d—1, 有 
Dy p= 1, (77) 
ice+l 
其 中 Ge 理解 为 Oo。 
证 任意 取 定 一 状态 i€EC, 对 每 个 1 二 0， 1，…，Ld 一 | 定义 . 
On 一 {7: 对 某 个 4 之 0， 2 > 0} 9 (78) 


因为 C 是 不 可 分 闭 集 ， 故 C= 了 0。。 现 在 来 证 当 w 关 ! 时 ，C。 几 Gi 一 Y， 倘 车 有 jE 0 站， 


由 式 (78), 必 存 在 mn、 zw 使 gt >>0、p8x19>>0, 又 依 定理 30 知 iG3j, 故 必 存在 入 使 下 ? 
>0， 于 是 从 C - K 方程 得 ， 
pletn 1 0 0 > 0, 


根据 定理 19，m 十 Y 与 ! 十 六 必 都 能 被 4 整除 ， 故 其 差 m 一 ! 也 能 被 整除， 但 是 0<&m, ! 
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<d 一 1， 因 此 只 能 nn 一 !==0， 即 mx 二 l， 这 与 m 关 i! 的 假定 矛盾 ， 这 样 6.01: 二 名， 式 (76) 得 
证 。 . 
对 任 给 的 EG。CO (ma=0，1，…，2 一 1)， 因 为 2 是 闭 集 以 及 定理 27 有 


1 二 2 = 2 二 > pw， 《79) 


ca+1 jECT Our 
由 G6 与 Ga+1 的 定义 式 (78)， 避 有 4 使 路 md, 而 对 jE C0 一 0。4+1 有 
0 一 prt 之 p> pt pj 之 0， 

从 而 只 有 ps; 二 0， 将 此 代入 式 (79) 中 即 得 式 (77)。 

最 后 证 明 分 解 式 (76) 的 唯一 性 ， 即 要 证 {C6。，0,，…，04-1) 与 最 初 的 选择 无 关 。 假 
设 对 状态 i,C 分 解 为 名 C.， 而 对 另 一 个 状态 ，C 分 解 为 口 ,c - 。 只 要 证 : 任何 两 个 状态 
jkEGs。， 则 也 有 j，#E0'w 即 可 ， 其 中 尺 与 mw 不 必 相 同 。 不 妨 设 ?EC， 那 么 ， 当 wn 之 
L 时 ， 从 ?” 出 发 ， 能 也 只 能 在 第 mm 一 上 7 一 (十 4 mm 一 (十 2，… 等 步 上 到 达 ;或 4， 故 依 定义 
7 EEC rr。 当 mm 时， 从 ?出 发 ， 能 也 只 能 在 第 一 (! 一 四) 一 mm 一 ! 上 十，zn 一 上 | 十 204，… 等 
步 上 到 达 j 或 ks 故 J 与 k 也 同属 于 一 个 CI mit 中 ， 定理 证 完 。 

由 定理 38 立即 导致 下 面 的 定理 。 

定理 39 设 X=={X.,n=0,1,…} 是 周期 为 < 的 不 可 分 的 齐 次 马 氏 链 ， 其 状态 空间 5 已 
唯一 地 分 解 成 i 个 互 不 相交 的 状态 子 集 G,，C,，…，04_! 之 并 ， 如 定理 38 所 示 。 今 仅 在 时 
刻 0,，z，24，、…… 上 考虑 闵 ， 即 令 {Y, 二 Xz 二 0,1,…}}、 则 

《iD {Yn 二 0,1,…} 是 以 P 中 = [? 风 ] 为 转移 概率 矩阵 的 新 的 齐 次 马 氏 链 ， 

(iD 对 (Ya 一 0,15…} 而 言 ， 每 个 C。 Cn=0，1，…，d 一 1 都 是 不 可 分 闭 集 , 而且 C- 
中 的 状态 都 是 非 周期 的 ; 

KiiD 如 果 (X.,n 一 0,1…"} 的 所 有 状态 皆 为 常 返 的 , 则 (Ya 一 0,1,，……)} 的 所 有 状态 也 都 是 
常 返 的 。 

证 对 任何 非 负 整数 s， 由 X 的 马 氏 性 及 齐 次 性 及 任何 iw ，…， -1，i，jE5 有 

POY = jo = i Yi = = 
一 PXormy = jlXo = oy Ko = bis Ku=i) 
= PXom=jX =) = PO = jlY, = i), 
PYn = jl = = PXKormy = jlXu =i) = PX = jo=)) =。 

由 此 断言 4Y,,n 二 0,1,…} 是 齐 次 马 氏 链 ， 转移 短 隆 为 Po 。 

根据 定理 38 便 知 每 个 G。(Cn 一 0,，…，d 一 D 对 (na 一 0,1，…} 而 言 都 是 闭 集 。 又 对 任 
何 jkE Go 因 {(Xa 一 0,1,…} 不 可 分 ,以 及 定理 30 知 必 存在 , 使 p 个 >>0, 又 因 定理 38， 
此 NN 只 能 为 形 如 双 的 正 整 数 ， 于 是 对 tr, 一 0,1，…} 而 言 j 过， 对 称 地 可 证 过;)， 故 有 
jh 应 用 定理 30 得 cu 不 可 分 。 再 由 定理 21 知 必 存在 某 正 整数 ,使 得 一 切 szN 都 有 ? 
>>0， 从 定理 19 可 见 对 {Y.,n 二 0,1,…} 而 言 状 态 ;的 周期 是 1， 或 是 非 周期 的 ，(Cii) 得 证 。 

最 后 证 Gii), 设 X 的 状态 全 为 常 返 的 , 任 取 状 态 ;EG。， 由 周期 的 定义 知 : 当 天 0 
mod (4) 时 ,区 二 0， 因 而 入 ==0， 故 


2 一 > 
即 了 对 {Y.,#==0,1,… .} 而 言 也 都 是 常 返 的 。 
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在 本 章 中 ， 对 齐 次 马 氏 链 的 状态 进行 分 类 ， 对 状态 空间 进行 分 解 所 建立 的 概念 与 方法 ， 
不 仅 本 身 具 有 明显 的 概率 意义 ,而 且 能 够 帮助 我 们 探讨 和 理解 有 关 zp 入 极限 性 质 的 一 系列 定 
理 的 意义 ， 便 于 发 现 诸如 定理 31 之 注 与 定理 39 所 揭示 的 马 氏 链 的 概率 结构 ， 认 识 并 理 清 
以 马 氏 链 为 其 数学 模型 的 随机 系统 的 运动 一 般 性 质 。 


马尔 科 夫 随机 系统 的 运动 规律 


aa 
期 为 ?的 不 可 分 闭 集 5 分 别 已 按 定理 36 和 定理 38 作 了 唯一 分 解 : 8=DUCUCU…，C 
二 0,UG1U…UG1。 下面 的 几 个 定理 给 出 了 22 作 随机 运动 时 所 遵循 的 一 般 规律 。 

首先 由 闭 集 的 定义 及 定理 38 中 的 式 (77) 即 得 ， 

”定理 40 (i) 7 自 闭 集 C 中 任何 -- 个 状态 出 发 ， 将 以 概率 1 永远 留 在 C 中; Gi) 车 
C 是 周期 为 4 的 不 可 分 闭 集 ，27 从 Gm==0,，…,，d 一 1) 中 任何 一 个 状态 出 发 下 一 步 必 
将 以 概率 1 进入 641， 经 4 步 转移 必 将 以 概率 ! 回 到 中 。 

定理 41 2/ 自 常 返 本 质 类 ( 即 常 返 不 可 分 闭 集 )C。 中 的 任何 一 个 状态 出 发 必 将 以 概率 
1 永远 留 在 C, 中 ， 而 且 无 限 多 次 地 达到 该 类 C. 中 的 任何 一 个 状态 。 

证 由 定理 40 之 (D ， 定 理 15 以 及 式 (13) 便 得 本 定理 。 

一 般 说 来 , 全 体 非常 返 状态 集 D 可 以 是 闭 集 也 可 以 不 是 闭 集 , 那么 在 中 是 如 何 运 
动 的 ? 又 服从 什么 样 的 法 则 ? 这 便 吓 下 面 将 要 进行 讨论 并 作出 回答 的 问题 。 

定理 42 (i) 从 非常 返 类 中 的 任何 一 个 状态 出 发 只 可 能 有 限 多 次 达到 该 类 中 的 任何 一 
个 状态 。 因 此 从 只 含有 限 多 个 状态 的 非常 返 类 中 的 任 一 状态 出 发 ， 以 概率 1 迟早 要 离开 该 
非常 退 类 。 

(ii》 非常 返 的 本 质 类 必 合 有 无 限 多 个 状态 。 

(ii) 如 时 全 体 非 常 返 状态 构成 的 集 D 是 有 限 集 ， 则 一 定 不 是 闭 集 。 

证 由 非常 返 状 态 类 的 定义 ， 对 此 类 中 的 任何 两 个 状态 ij iS37, 无 之 1, f 达 1, 依 
照 定理 10, 等 价 地 有 6 二 ej=0, 再 用 式 (13) 得 6=e; 一 0, 注意 到 式 (13) 的 概率 意义 , 即 得 
结论 介 )。 

根据 定理 '32， 本质 类 是 闭 集 ， 因此 从 本 所 资中 任何 一 个 状态 出 发 以 概率 ! 不 可 能 离开 
该 本 质 类 ， 再 由 前 面 已 证 的 论断 G) 便 得 Gi)。 

倘若 木然 假定 了 是 闭 集 ， 那 么 对 任 取 的 iE Dp， 一 切 j 稀 D 及 任何 正 整数 4 都 有 z==0， 
于 是 得 - 

1 + p= 2 n= 192，…。 
> iED 


因为 8 是 有 限 集 ， 在 上 式 两 边 令 xco 取 极限 ， 回 时 利用 即将 在 正 ， 定 理 1 中 给 出 的 事实 ， 
lim p=0, JED， 便 有 


导致 矛 慎 。 这 就 表明 刀 不 可 能 是 闭 集 ， 证 完 。 
定理 40、 定 理 41、 定 理 42 仅仅 描画 出 系统 2 在 非常 返 类 、 常 返 类 、 周 期 此 这 些 状 态 


类 之 闻 作 随机 运动 时 在 统计 规律 上 的 大 致 轮廓, 下 一 章 还 将 进一步 探讨 2 运动 的 概率 稳定 
性 ， 之 从 一 个 状态 类 首次 转 入 到 另 一 状态 类 等 更 精细 更 深入 的 定量 概率 特性 。 
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为 了 辨 明 一 个 以 离散 参数 齐 次 马 氏 链 X 二 {X.,n 二 0,1,…) 为 其 数学 模型 的 随机 系 
统 2 是 否 具有 统计 意义 下 的 稳定 性 ， 我 们 可 以 在 它 的 状态 空间 中 ,考察 22 从 一 个 状态 
转移 到 另 一 个 状态 的 概率 随 着 转移 步 数 的 不 断 增 大 是 否 稳定 在 一 个 确定 值 附近 ， 而 且 此 什 
是 否 与 2 初始 所 处 的 状态 无 关 ， 也 就 是 要 探讨 下 面 一 系列 重要 的 数学 问题 ; 

Gi) 对 任意 给 定 的 状态 i，jE 8， 当 noo 时 ， 转 移 概率 数列 {9)} 是 否 收敛 ， 

Git) 对 任意 给 定 的 状态 i,jE8， 如 果 存 在 极限 lim p99， 此 极限 值 是 否 与 初始 状态 i 无 
关 ， 

Gli》 在 怎样 的 条 件 下 才能 确保 存在 极限 lim pz’， 而 且 它 与 无关。 

有 关 当 sa 一 cc 时 转移 概率 数列 {z8 ;的 极限 性 质 的 这 一 类 定理 统称 为 遍历 定理 。 如 果 对 
一 切 i，jE8 都 存在 不 依赖 于 i 的 极限 lim ?一 ,上 且 和 mw 一 1， 则 称 此 马 氏 链 X 具有 遍历 
性 , 这些 正 是 本 章 要 讨论 的 主题 之 一 。 


$ 1 转移 概率 的 极限 性 质 


定理 1 如 果 状 态 ES) 是 非常 返 的 ， 则 对 任何 状态 论 S， 都 有 


lim pp = 0。 (1) 


证 当 i=j 时 , 由, 定理 13 之 Gi ) 知 症 p 收 敏 ， 故 jm Pp 一 0。 当 j 时 ， 应 用 
1 定理 6 中 的 式 (36)、 阿 贝尔 定理 及 【. 定理 13 之 (ii ) 得 ” 
D2 = Py(l) = Fi(1)P;(1) = DD < Dzp << co， 
故 lim p 一 0， 定理 证 完 。 | 
”定理 2 如 果 状 态 ;是 零 常 返 的 ， 则 对 任何 状态 iE 85， 都 有 
lim p79 = 0。 (2) 
证 任 取 正 整数 N、4 使 得 1<N<n， 由 式 1.(23) 有 
?9 二 Spy” 十 S) f9， 
对 上 式 ， 暂时 间 定 六， 先 令 #~co 两 边 皆 取 极限 ， 注 意 到 ;是 零 常 返 的 以 及 了 定理 17 之 
0) 便 得 
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oo 


im 有 二 六 fr, 


me Nl 


对 此 式 两 边 再 令 入 一 oo 取 极 限 ， 因 因为 jf9 二 jy<1 就 有 


lim py < lim > f=0 ， 
定理 得 证 。 
当 状 态 i j 是 常 志 状态 县 有 周期 dj 时 , 如果 i 与 ;分 别 属于 不 同 的 闭 集 , 那么 由 闭 集 的 定 
义 必 有 p 久 一 0，z 一 1，2，…， 从 而 lim 2 一 0。 又 对 非 负 整数 上 及 正 整 数 症 ，1 委 mm 委 忆 一 1 
必 有 p+ 二 0， 从 而 lim ?人 ”一 0。 一 般 来 说 极限 1im ?久未 必 存 在 ， 即 使 存在 极限 ， 此 极 


限 值 也 可 能 有 赖 于 ,因此 不 宜 仅 局 限 在 讨论 极限 Jim 2 的 存在 性 问题 上 ,回顾 I. 定理 16， 


受 式 lim 鸣 作 一 开 的 记 害 发 ,我们 转向 讨论 p57" 在 a-~oo 时 的 极限 问题 , 其 中 m=0, 1,…， 
0 一 上 。 
为 此 ， 需 要 引进 下 面 有 用 的 概念 ， 记 
fulm) = Sg+™, jES, m=0,1,",dj— 1, (3) 


lm 0 


fi(m) 表 示 系 统 >7 从 状态 i 出发, 在 菜 时 刻 n=m，(Cmod dy) 首先 达到 状态 ;的 概率 ， 因 为 
每 项 及 (za 一 0， 1 “) 都 是 非 负 的 ， 所 以 有 


Djs = bl Dp) = (SE = DP = hi (4) 
n=0 


msl ml lm0 fw0 ml 


定理 3 设 状态 j 是 正常 返 的 ， 有 周期 i， 则 对 任意 的 状态 i€ 以 及 任意 的 w=1, 2， 
…， 4d;，、 必 有 极限 


lim pst™ = fi(Cm) 各 ， (5) 
其 中 是 j 的 平均 回转 时 间 。 
证 由 f. 定 理 19， 对 正 整 数 # 半 0 (mod ))，yp 多 二 0， 那 么 应 用 式 工 . (23) 得 


网 j 二 可 


pt" 一 2 9 mo) 一 =- 2 A gD 
于 是 对 任何 正 整数 Nn, wn 有 
Spy, Ho-o00 二 Meta 返 > tm ype-0% 十 S) feistm  ， 


tm) te y+ 


现在 上 式 中 先 固 定 Y， 令 w 一 co， 由 1 .定理 16 得 


~ 


Df 妈 < lim inf pt < lim n sup pt 
i 


=O 4 
CO 
NN 
委 > fm 2 -+ /和 tm 
(一 0 i=Nt1 


对 此 式 令 N 一 oo 取 极限 ， by EPL 便 有 


D2 +m) oi -< lim inf pt < lim h sup pe jm) < Spy 二 no) 


1m0 zs 人 
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”由 此 式 及 fm) 的 定义 得 知 : 极限 lm p+" 存 在， 并且 就 等 于 /Cwm) -全 -证 完 。 
推论 1 设 工 是 不 可 分 的 齐 次 马 氏 链 ， 它 的 每 个 状态 和 为 正 党 的 ， 而 且 者 周期， 
依 工 .定理 36、I .定理 38, 状态 空间 5 唯一 地 分 解 成 S=U0., 则 对 任意 的 状态 i, jES 必 
存在 极限 
d/pi， 如 果 i 与 j 问 属于 一 个 6。 


有 一 10， 否则， 
特别 地 ， 如 果 zd 一 1， 则 对 任何 i，j€E5 必 存 在 极限 
Hig ph = 1/po 《7) 
证 在 定理 3 中 取 ww%*=d，, 便 知 存在 极限 
lim py? = fs, (0) = 一 一 《8) 


依 式 (3)， La Cuw， 那 么 由 工 .定理 40 之 (ii) 知 py 加 
一 0,[ 王 1，2，…， 了 既然 0 委 j 多 委 2， 故 [/ 扣 = 王 0，( 王 1，2，…， 于 是 Jo 一 0。 如 果 与 7 
属于 同一 个 C.， 仍 由 工 .定理 40 之 (ii) ， 对 于 正 整 数 "天 0 (mod d) ， 有 ?2 一 0， 从 而 /名 一 0， 
于 是 


Po = PP = > = 5 


再 利用 工 , 定理 30 及 工 .定理 15 知 j=1, ,所 以 fi w=1. 将 此 式 代入 式 (8) 即 得 式 (6), 由 式 
(6) 直 接 得 到 式 (7)， 推 论证 完 。 

由 推论 1 及 遍历 性 的 定义 立即 可 以 得 到 

推论 2 齐 次 马 氏 链 具 有 遍历 性 的 必要 条 件 是 所 有 常 返 状态 都 是 非 周 期 的 ， 并 且 至 多 
有 一 个 常 返 状态 的 不 可 分 闭 子 集 。 

定理 4 对 状态 空间 为 8 的 齐 次 马 氏 链 X， 如 : 果 存 在 菜 正 束 数 mn 使 X 的 一 步 转 移 概率 
和 矩阵 P 的 zw 次 竹 P"== [六 ] 中 的 每 个 元 素 皆 大 于 零 ， 则 X 是 不 可 分 的 ， 而且 对 任意 的 i， 
jE5S， 必 存在 极限 lim pz 名， 又 此 极限 值 与 初始 状态 i 无关 ， 记 作 有;， 即 有 

lim #9 = = 0， 5 为 非常 返 的 或 零 状态 ， 
im p= 二 (9) 
1/4;，j 为 正常 返 的 非 周 期 的 。 

证 因为 假设 条 件 ， 对 任何 状态 i，j€ES， p>0、 所 以 i 故 状 态 空 间 构成 不 可 
分 闭 集 , 即 六 是 不 可 分 蕊 氏 链 ,进一步 再 由 志 宇 0, i jE SS， pl, i€5, 便 知 P't+*=PP” 
二 [p+" 中 的 每 个 元 素 p10, i, jE€5， 于 是 对 每 个 状态 iE 5 都 有 G.C.D. (11:9 
> 中 =1, 依 工 . 定理 19 与 1. 定理 34 知 每 个 状态 都 是 非 周 期 的 。 仍 依 I .定理 34 以 及 本 章 的 
定理 1、 定理 2、 定理 3 之 推论 便 得 ; 如 果 & 中 有 一 个 状态 是 非常 返 的 《或 是 零 状 态 ), 则 5 中 
的 每 个 状态 都 是 非常 返 的 (或 都 是 零 状态 ), 而 且 对 一 切 i, jE 8, 存在 lim py =。 如果 中 
有 一 个 状态 是 正常 返 的 ， 则 8 中 的 一 切 状态 都 是 正常 返 的 ， 而且 对 所 有 i，jE 5S， 必 存在 
lim 2p 二 1/4; 之 0， 定 理 证 完 。 

定理 5 设 X={X.,x=0,1,…}) 是 不 可 分 的 齐 次 马 氏 链 ， 状 态 宝 间 & 中 每 个 状态 都 是 
遍历 的 ， 即 正常 返 非 周 期 的 ， 由 定理 4 知 对 任何 状态 i,，j€E， 必 存在 极限 limp， 并 且 它 
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与 i 无 关 ， 记 为 wm 会 lim 9 "， 则 对 任 给 的 e 汪 0， 有 


， 1 Nmn ， ， 
lim | (| >on ~ > 中 = 0， jE€S a (10) 
1， 当 Xu 一 7 
6; 二 
其 中 dx 一 | wx 


在 式 (10) 中 ,二 Lys 即 为 状态 j 在 {Xi,…,X,} 中 出 现 的 频率 ,本 定理 指出 了 此 频率 依 
概率 收敛 于 经 过 许多 步 转 移 之 后 系统 处 于 状态 ;的 概率 元， 这 就 是 不 可 分 芝 历 马 氏 链 的 大 
定理 


{| >o. 一 帮 


> = Spexo = al (|+>6.— |> >*lxe= 站。 


i€ES be 


为 证 式 (10)， 应 用 控制 收敛 定理 与 上 式 ， 只 要 证 明 下 式 邵 可 : 
lim 中 on. 一 玫 


NO 


由 切 贝 雪 赤 〈Uecbmues) 不 等 式 ， 
1 
P| 3 1 Sex 一 71 之 e| Xo= ij< De s| |= 


nl 
为 证 式 (11) 只 要 证 下 式 即 可 : 
lim 已 [| 26 一 Tn) 


而 [| on. 一 1% = 引 = 去 红 > >on ox, | Xo 一 中 一 二》 p+ 地 。 


机 一 | 1 t=1 w= 


> :ko=ij= 0， i ,jE Ss, (11) 


2 
om -| | Xo= 让 ， 


n=1 


2 
lx = 让 = 0, ij) ES， (12) 


应 用 即将 在 82， 定 理 6 中 所 给 出 的 结论 : im 工交 一 六 JES， 以 及 上 式 ， 为 证 式 
《12)， 只 要 证 明 下 式 即 可 : 


lim La[ So oux | Xo = ij=- 到 ， 1) ES, (13) 
m= i=1 
注意 到 
. P(X/ = j,X, = jXo = = yp, lm 
B[6x.0x,1Xo = i]= | 。 7 o /py ， 
POX, = jlXo = 0 = 200， {= m, 
于 是 


二 8[ 2smlX = 中 = 去 2 加 十 襄 ) 再 枚 


要 一 | 1 一 1 m= 1 1 所 ! 必 四 的 
仍 用 8 2， 定理 6 的 结论 得 : 
No 
lim 7 2 = 0, jESN, 
那么 最 后 只 要 证 明 下 式 ， 
， ] | A ， - 。 
lim 未 >， pp = 了， i,j€ 86 (14) 


PE 1 Sm 


由 假设 条 件 及 定理 3 之 推论 知 : lim p= limph = i, jE5。 因 此 对 任 给 的 0 过 a 过 x; GG 暂 
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时 给 定 )， 必 存在 立 ， 使 得 "之 N 时 ， 有 1 中: 一 后 |<e，|? 凡 一 本 s。 作 和 式 分 解 
BD) p= (D+ > + > pg?, 


Ji 1 VS Nene 
和 式 2 zpz9-" 中 每 项 部 是 不 超过 1 的 非 负数 ， 而 且 共有 (一 D 十 On 一 2 十 … 十 Ga 一 人 
lem N 


十 DD= 训 (2 一 和 CN 一 DD 项 ， 获 0 忆 去 ,人 2, 克 歼 了 F624 一 N)(N 一 DD 一 0。 又 和 
、 1 


2 元 区 ~? 共有 二 (24 一 3N 十 2)CN 一 了 项 ， 同 前 有 0 和 志 、 之 / pp Sr C2 


NSICm<s 及 ”NSLCm<s 
mi 
mi<N 


一 3 十 2)CY 一 D -一 0 最 后 考察 和 式 2) /9b-n， 它 共有 言 (n 一 2N 十 2)(m 一 2N 十 1) 


二 一 [六 和 
项 ， 而 且 每 一 项 都 有 
(my— Ep ER, NEl<m, ml 宛 N, 
故 
(mi 一 e)’ ， ， 1 ~< a 
~ < lim inf 证 3 pp 
mm NElCmES 
m—l Ny 
Slimsuwp 二 5) vr? 
ros 下 NEICM 


wm—imy 


< Cj 4 e)’ 


由 。 选 择 的 任意 性 ， 令 。Y 0， 并 综合 前 而 已 证 之 结果 好 得 式 (14)， 定理 证 完 。 
$ 2 ”转移 概率 平均 的 极限 性 质 


仔细 考察 定理 3 及 其 推论 ,可 以 发 现 导致 结论 式 (5) 与 式 (5) 的 表述 颇 为 繁复 的 原因 在 于 
状态 具有 周期 4>1， 如 果 状 态 部 是 非 周期 的 即 /一 1, 那么 就 得 科 明 的 结果 式 (7), 由 此 我 们 
得 到 了 启示 : 对 于 有 周期 的 状态 j, 尽管 im py 未 必 存 在 ,但 是 如 果 能 够 设法 消除 周期 的 影 


响 ， 或 许 还 可 得 到 较 简 明 的 结果 ， 因 为 算术 平均 可 以 减弱 或 消除 周期 的 影响 ， 于 是 采用 
! 二 思 1 这 个 转移 概率 的 算术 平均 来 将 代 四， 可 户 极 限 lm 十 zt 存在 。 


;是 表示 系统 2 从 状态 ; 出 发 恰好 在 第 wn 步 返回 状态 ; 的 概率 ,15x. 表 示 系统 
在 前 面 * 步 内 系统 2 到 达 状态 ;的 次 数 ， 那 么 
s{ Bsn [X= j= DD so IX = 


mel 


一 DP. = j= 让 = DR (15) 


nl 


就 表示 系统 忆 从 ;出 发 在 开头 的 a 步 内 返回 状态 ;的 平均 次 数 ， 于 是 十 也 雹 ?就 表示 系 
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统 之 从 了 出发 在 开 初 的 一 段 单位 时 间 内 返回 ; 的 平均 次 数 。 当 ;是 常 返 状态 时 ,py 表示 和 
从 了 出 发 后 又 返回 ;的 平均 回转 时 间 ， 从 而 一 -就 表示 2 从 ;出 发 在 单位 时 间 内 返回 ;的 
平均 次 数 , 故 二 与 二 之 ?具有 类 同 的 意义 , 只 不 过 下 -是 对 整个 时 间 段 [0, oo) 而 言 的 ， 
而 二 和 ?名 仅 仅 是 对 开 初 的 时 间 段 [0，a] 而 言 的 。 


如 果 系 统 > 开始 是 从 状态 i 出 发 的 ， 那 么 还 要 先 考虑 > ) 自 i 能 否 到 达 j 的 附加 情形 ， 
即 要 涉及 。 以 上 直观 解释 的 合理 性 由 下 面 的 精确 结论 所 证 实 。 


,< [0， 。 当 是 非常 返 的 或 零 状态 ， 
im -一 > pp = 4 16) 
加 二 和 {2 当 ;是 正常 返 的 。 ' 


为 证 此 定理 ， 需 要 准备 好 下 列 分 析 结 果 : 
引 理 1 如 果 数 列 {o，" 一 1，2，…} 有 极限 lim a.=a。， 则 
lim Lo 一 人 (17) 


soo 用 


证 ”对 任 给 的 。>0, 由 假设 条 件 必 存 在 正 整 数 六 , 当 a>N 时 ,都 有 jo. 一 | < 万 ,从 而 


My y 于 ' 
> ol< to) + | Do) 
天 [| 用 的 到 上 用 m= N+1i 
] 忆 E 
过 pp 十 也 9 
1 N 


因为 这 里 的 六 暂时 问 定 ， 所 以 到 足够 大 的 ，(>Y) 可 使 | 十 (as) 


上 面 的 不 等 式 ， 依 极限 定义 ， 结 论 得 证 。 
引 理 2 设 数列 {a.,n 二 1,2,*…) 满 足下 列 条 件 ， 有 正 整 数 4， 并 存在 4 个 极限 lim Gutm 
一 加 ,0 一 1，2，…，d， 则 


<< 却 ， 将 此 代入 


lim 二 Dm 一 二 (十 … 十 b。 (18) 


a 用 sl 


证 因为 有 极限 的 数列 必定 有 界 ， 所 以 由 假设 条 件 必 存 在 a=sup { la,| ,二 1,2,.})。 
又 任 一 正 整 数 及 总 可 写成 ld+m 的 形式 (=0,1 本 ;2，…d)。 于 是 
Fa-Totm tl | Da 


i [ni | 


d 1nd 1~ 
< 从 + 二 | 全 awn — bo 


当 aoo 时 ， 生 一 0, 而 且 1oo， 同 时 ， 


女 = 女 二 一 一 下 一 1 一 于 一 0 


n 也 Rn 


再 由 引 理 1， 对 每 个 w=1，2，…，d， 都 有 
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lim To. 一 一 bu， 


综 上 所 证 , 断言 (十. 一 让 《51 十 … 十 6D | 一 >0， 式 (18) 成 立 ， 证 完 ， 


定理 6 的 证 明 , 如 果 状 态 ;是 非常 返 的 或 者 是 零 状 态 , 则 由 定理 1 与 定理 2, 对 任何 i€ES 
都 有 lim z 多 =0， 再 利用 引 悍 1 便 知 


如 果 7 是 正常 返 状态 ， 并 有 周期 4， 则 由 定理 3、 引 理 2 及 式 (4) 便 得 


lim pe 9 = 二 > co 二 


m=1 


1 
” 一 i pr = 2 
定理 证 完 。 
由 定理 6 及 工 .定理 15 即 得 下 面 的 推论 。 
推论 ”如果 齐 次 马 氏 链 是 不 可 分 的 ， 它 的 所 有 状态 都 是 常 返 的 ， 则 对 任意 的 状态 i，j 
ES 总 有 


im 二 2 一， (19) 
六 


当 p= 时 ， 规定 了 -一 0。 
定理 6 及 其 推论 向 我 们 指 明 : 当 5 是 正常 返 状 态 时 ， 虽然 极限 lim 从) 未 必 存 在 , 但 是 平 


均 的 极限 hn- J" 恒 存在 ， 当 马 氏 链 还 是 不 可 分 的 , 这 时 此 极限 值 与 初始 状态 ;无 关 , 与 
周期 也 无 关 。 


定理 7 对 齐 次 马 氏 链 ， 依 定理 6， 对 任何 i je$, 极限 iim 二 2p 必 存 在 ， 现 记 作 
Nijs 又 记 UH= [zi;] 方 阵 ， 则 有 


Gi) H=UP, 1H{=MP, N=1,，2,…， (20) 
(ii) H=PI, NH=P'H, 4=1, 2, (21) 
iDU=7, UH=I, n=1, 2, ""， (22) 
(iv) (P—1) =P 1, n=]1, 2, "。 (23) 


证 对 任 给 的 ， jE 利用 控制 收 人 定理 与 K 方程 有 
>， Tap 一 和 | lim 一 上 cap 
i€ES 


. 只 
= lim 一 > (> xz 


m=} iES 
1 a 
。 ~ 
lim — 之 加 
人 7 


(Cs 十 1) 
一 1 Sn、 pt) — Di i | 一 、 
op 2 十 Rj Mj ， 


Wo 
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故 卫 =P 反复 利用 此 式 ， 由 数学 归纳 法 即 得 式 (20) ,Gi) 得 证 。 类 似 地 还 可 证 得 (ii) 
现 证 Gii)。 对 任 一 正 整数 4, 由 式 (21) 有 1=Pll, [=P?11 
全 加 起 来 得 =P 十 P 十 … 十 PH, 即 二 


I 开 =P11, 将 这 x 个 等 式 
一 CP 十 户 十 … 十 PP) 了 了 I， 对 此 令 "一 ce 便 得 
=1lim—P+P+… + PN=U=1 
反复 利用 此 式 ， 并 用 数学 归纳 法 可 得 式 (22) 

最 后 证 (iv)。( P 一 人 站 2 一 (P 一 丰 (P 一 太一 严 一 2 一 Ge 十 大 ,由 式 (20)、(21)、(227 有 
(P 一 卫 )? 一 产 一 互 ， 现 作 归 纳 仍 设 ， 如 果 ( 忆 一 如 "一 挛 一 下 已 成 立 ,于 是 利用 (21) 
(22) 便 有 

(P 万) + — 


、(20)、 
= {PLP—o1)={P—o HN)(P—1) 
=Pti— PI— UP:= Pti-- 1 

由 归纳 法 式 (23) 得 证 ,定理 证 完 。 

下 面 将 把 定理 6 中 转移 概率 平均 的 极限 性 质 推广 到 比 极限 的 情形 。 当 然 需 要 附加 一 定 
的 限制 条 件 。 
定理 8 
意 的 状态 i，j， 


2 
lim -一 。 
的 > 7 
证 (i) 首先 在 f=7==; 关 i 的 特殊 情况 下 证 明定 理 。 因 为 
这 Vt 


二 1 
2 | 之 1 
意 到 ;、j; 是 常 返 的 ， 利 用 工 .定理 4 及 工 . 定理 13 之 (iii) 


设 X 是 不 可 分 的 齐 次 马 氏 链 ， 其 状态 空间 的 每 个 状态 都 是 常 返 的 ， 则 对 任 
4，7ES， 必 存在 极限 


.定理 15 便 知 存在 极限 
了 > 179 


(24) 
(iD 其 次 在 4 一 ij 的 特殊 全 WT 


* 证 明定 理 。 由 工 ,定理 5 之 (iD)， 对 任何 正 整 数 忆 
也 一 1 L 
1 \ gy 一 册 , 一 由 
> = >| Dot ®)= op 2 
m= 人 0 一 如 十 上 
一 ! 
一 - (ma) Vy YD 
一 bs gy 
m= 0 3 " ’ 
故 
2~! i! 
NY 1 \ mn 
2 Dp Dg > pe 
-一 2 {=] 。 
2 


* Mm=0 


和 一 他 


S jh 十 peD 一 1 
因为 ;是 常 返 的 ， 由 工 . 定理 13 之 (ii) 得 
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A 
2 2 
全 1 一 名 ) 
ci 2 一 1 十 二 1 ， 
Sa CN ~” 
Pp 十 p87) oe 1 ps 
各 4 


再 利用 已 有 的 分 析 结 论 : 设 非 负数 列 {a。 51 一 0，1，… } 使 得 有 二 0, 又 设 数列 (2 一 0,1， 


Um 
n=0 


” 
…} 有 六 一 >b， 则 
oz 十 ba 十 汝 十 ba -5。 (25) 
> 了 工 一 co 
Gu 
m==0 
< i 
取 @ 一 ?2 1 一 0，1，…， 加 一 0， 六 一 298 ， n=1,， 2, ,5 二 2199 =0s, 便 有 
L—1 L—w 
Dp gp 
Sg = y, 
Dn Cm) I Ln] 
A 
me 
总 之 存在 极限 
L 
> p89 
(26) 


Dp Dp Dp Dp 7 


Ne = A 和 | 
Se dip Dp Dp Dep 
Li =1 %=} a=$ Nm] 
1 } ] 
fs fx yi 


注意 到 X 是 不 可 分 的 ， 对 常 返 状态 j, +， 必 有 j=>7， 于 是 依 工 .定理 8 之 0) 知 9 之 0, 总 之 
存在 极限 


2 1 
lim -3 = 一。 (27) 
Tm” Cm) gi 

2 

a=1 


定理 证 完 。 
注 如 果 X 是 不 可 分 齐 次 马 氏 链 。 所 有 状态 都 是 正常 返 的 , 这 时 定理 8 并 没有 给 我 们 带 
来 什么 新 的 信息 ， 因 为 定理 6 及 工 .定理 15， 有 


> 718 多 
fi/ Kj rr 。 (28) 


然而 , 定理 8 的 重要 性 在 于 它 还 适用 于 等 常 返 状态 的 情形 , 这 时 在 L 一 ce 之 下 , 平均 比 式 
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1 /3 圭 沁 夫 昌 然 是 忆 的 不 确定 型 ,但 是 定理 8 指出 此 比 式 极限 实际 上 是 存在 的 , 且 辽 
给 出 了 极限 值 。 


833 平稳 分 布 


{z 多 } 的 极限 性 质 刻画 了 马尔 科 夫 随机 系统 之 / 随 着 转移 步 数 的 增 大 趋 于 稳定 的 性 能 ， 
除 此 之 外 还 应 该 考察 系统 之 ; 在 由 始 到 终 的 整个 观测 过 程 中 是 否 也 具有 某 种 稳定 的 性 能 ,这 
便 启 发 我 们 去 考察 描述 2 的 马 氏 链 的 有 限 维 联合 分 布 族 ,观察 它们 是 否 始终 不 随时 间 的 扒 
移 而 改变 。 
定义 ” 设 X={X,,a=0,1,…} 是 状态 空间 为 5、 一 步 转移 概率 矩阵 为 Lzpi,j 的 齐 次 马 氏 
链 ， 如 果 有 一 概率 分 布 {zw,,iE 8) 满足 
= Dnpy, jES, (29) 
则 称 (m.,iES} 是 X 的 一 个 平稳 分 布 .如 果 齐 次 马 氏 链 X 有 一 平稳 分 布 (wiES}, 则 由 C~K 
方程 ， 
一 ps 一 2 2 ms) mu = "| Pps ,] = 2 ， 
再 利用 C-K 方程 和 归纳 法 可 得 一 般 关 系 式 : 
= jESB, n= 1,2,° (30) 
定理 9 设 (m,i€8) 是 章 次 马 氏 链 X 的 一 个 平稳 分 布 , 如 果 取 {i€ 5) 为 X 的 初始 分 
布 ， 即 PCXe 一 芒 一 五 ，iES， 则 对 任何 正 整 数 "都 有 


P(X, = 1) = Ai, 和 和。 (31) 
进而 对 任意 的 正 整 数 >，z， 以 及 任意 的 0 和 4<2a<…< 和 任意 的 5 ,ES， 有 有 
已 (Xe tm 一 V9 Ke tm 一 ) 二 POXs 一 中 一 如) 。 《32) 


证 由 全 概率 公式 及 式 (30)， 对 任何 正 整 数 


POX =D) = >)P(Xo = APOX, = ilXo = h) 
iES 


= Dm =n, i€ 8。 
ES 
式 (31) 得 证 ,利用 XX 的 马 氏 性 、 齐 次 性 、1 .定理 1 之 (iv) 以 及 上 面 已 证 的 式 (31), 得 到 要 涝 
的 式 (32) 
POX sm = » K+ 一 六) 一 人 
一 POX, 一 站 二 =) 。 

定理 9 说 明 : 如 果 X 有 平稳 分 布 {zt.,iE5}, 而 且 以 它 作为 X 的 初始 分 布 ， 则 相应 的 系 
统 2) 无论 在 何 时 4 处 于 状态 i 的 绝对 概率 恒 为 确定 的 和， 不 随 ” 而 蜡 .而且 (Xr 
Xi+m) 的 联合 分 布 与 (X4，…X,) 的 联合 分 布 相同 , 即 在 整个 观测 过 程 中 ,有 限 维 分 布 经 时 六 
推移 都 将 保持 不 变 , 故 是 严 平 稳 随 机 序列 , 这 反映 了 系统 之 ) 就 分 布 而 言 处 在 址 态 平衡 之 
中 , 以 上 所 述 也 就 是 平稳 分 布 这 一 名 称 的 含义 ,由 此 可 见 , 对 于 一 个 齐 次 马 氏 链 平稳 分 布 是 


50 马尔 科 夫 链 基 础 及 其 应 用 


否 存 在 ?如 果 存 在 ， 是 否 唯 一 ?如 何 寻 求 计算 平稳 分 布 ?等 在 理论 与 应 用 上 都 是 极 重 要 的 问 
题 , 先 在 特殊 的 情况 下 来 给 出 上 述 问题 的 解答 ，。 
定理 10 设 X 是 不 可 分 齐 次 马 氏 链 , 其 状态 空间 8 中 的 每 个 状态 都 是 正常 返 的 , 或 特 
别 地 都 是 遍历 的 ， 则 此 X 恒 有 唯一 的 平稳 分 布 | 一 ,JES ， 其 中 pj 是 ;的 平均 回转 时 
间 。 
证 的 有 
Dm DD jes, 


mel m= j€ 


由 假设 条 件 及 定理 6 的 推论 ， 应 用 法 都 CFateu) 定 理 于 上 式 ， 便 得 


2 n= 2 元 = 之 lm inf 二 Ds "slim if 之 1 Dm. (33) 
jES ES Hj jE . 
又 
2 15 Se py) = | i, jES, (34) 
肌 一 上 


仍 由 定理 6 的 推 i 6 及 法 都 定理 从 起 (34) 可 得 
Tj 一 二 一 lim inf 二 * 二 1 { > 8 — 1) 


之 > lim n>, a pr; 


ES 


一 > nips jE€ AS。 (35) 


tES 


下 面 证 明 式 (35) 中 只 可 能 是 等 号 成 立 , 事实 上 ,倘若 有 某 个 jCE 5) 使 得 ti> ZL mp 那么 
由 式 (33)、《357 便 有 
1] 之 D> > ( Dn) = Pm py) = 2 
jES jES ES ES JES 
导致 子 盾 。 于 是 证 得 
Tj 一 > mp JJ ES。 (36) 
利用 式 (36) 及 CK 方程 有 
7 一 2 Tp = 2 (mm) = 2 > pps) = 2 ， 
ES i€ES 


iES 
反复 利用 式 (36) 及 C- K 方程 ， 由 归纳 法 知 对 任何 正 整数 4 有 
= Om, jES, n=1,2,", (37) 
由 此 可 得 
5 PD" i | 让 2 jE S, n= 1,2,., (38) 


D4 又 依 式 (33) 知 式 (38) 右 方 的 级 数 一 致 收敛 ， 于 是 得 
n= Dl 和 > | = (Dn)n, jE€s, (39) 


kES ES 


据 假 设 每 个 状态 CE 8) 都 是 正常 返 的 ， 用 元 == 二 之 0， 从 式 (39) 知 之 /mm 一 1。 即 {myJES} 
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是 满足 式 (36) 的 概率 分 布 ， 依 定义 它 就 是 X 的 平稳 分 布 ， | 
设 (2,,jE 3) 是 满足 方程 组 (36) 的 概率 分 布 .类 似 于 式 (37)、(38) 的 推导 有 :一 222 


[去 xP| .同样 此 式 右 方 级 数 一 致 收 化 ， 令 a--oo 取 极限 就 得 : 9,=( >)0,) wjE 8， 
2 ES 


由 必 吕 =1 得 久 二 而 ，jE 5， 唯 一 性 得 证 ， 定 理 证 完 。 

注 设 X 是 不 可 分 齐 次 马 氏 链 ， 所 有 状态 都 是 沉 历 的 ， 由 定理 3 之 推论 知 : 对 任何 状 
态 记 六 都 有 lim p 久 一 -会 坝 ， 依 定理 10 此 {,jE 中 是 X 的 平稳 分 布 。 值得 注意 的 是 : 如 
果 对 任何 状态 i, jE 8 都 存在 极限 lim zy， 而 且 此 极限 与 ;无 关 , 记 作用 ,那么 { 才 ,JE 中 是 
否 为 X 的 平稳 分 布 呢 ? 考 察 所 有 状态 都 是 非常 返 的 齐 次 马 氏 链 ， 依 定理 1 有 lim p=0, i, j 
ES, 即 {mwj==0,jE5)}， 显然 这 不 是 平稳 分 布 。 

下 面 将 对 一 般 马 氏 链 的 平稳 分 布 的 存在 性 \ 唯一 性 ,如何 计 算 等 问题 作 进一步 讨论 ,为 
此 先 给 出 一 个 要 用 到 的 引 理 。 根 据 工 .定理 36， 状 态 空间 5 可 分 解 成 如 下 的 形式 ， 

S=DUCOUCGU.…=0UHH, H=UC,, (40) 

其 中 D 是 全 体 非 常 返 状态 集 , 8 是 全 体 非常 返 状 态 集 与 全 体 零 状态 集 之 并 集 ，(C cz )} 中 

的 每 一 个 都 是 由 常 返 状态 构成 的 不 可 分 闭 集 , 而 每 个 CCrE 门 是 由 正常 返 状态 构成 的 不 可 
分 闭 集 。 

引 理 3 ”对 每 个 C,CH，yE 7， 都 有 

2 yEr, C41) 


证 因 工 .定理 34, 可 记 0; 中 每 个 状态 具有 相同 的 周期 为 4。 根 据 工 .定理 38,C, 有 分 解 
式 0, 一 和 0 (yE7)， 击 定理 3 之 推论 ， 对 任意 的 i，jEG。 有 
lim 202 = 一 一 。 (42) 


于 是 由 工 .定理 39， 若 将 户 =[p?] 作 为 一 步 转移 概率 和 矩阵 ， 则 每 个 CG。《m 二 0,1,*…,d 一 1) 都 
是 不 可 分 闭 集 , 而 且 其 中 的 每 个 状态 JE co 都 是 非 周 期 的 ,这 时 对 P 而 言 , 由 式 (12) 知 有 极 
限 


And) A lim yO = lim oo = 全， i,j € Goo (43) 
Roo WO ji 
再 依 定理 10 有 
SY nD) = m= 0 dm 1 C44) 
jEG, Hi EC。 
由 此 便 得 
中 # 一 ] 
NV Nv NI 
起 i 生息 人 所 4 
引 理 证 完 。 


在 上 面 所 作 的 准备 与 记号 之 下 ， 现 在 可 以 来 给 出 阐明 平稳 分 布 的 存在 性 及 其 结构 的 定 
理 了 。 
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定理 11 设 z>0, jE8， Zr<o0, 则 {zw,jE 5} 为 一 齐 次 马 氏 链 的 平稳 分 布 的 充分 
必要 条 件 是 存在 非 负数 列 {5,yE 站 使 得 


(2 一 1) (45) 
7yE 了 了 
(i) z=0, jEQ; (46) 
Oi) wo, je0,, yEr, C47) 
ji 


证 先 证 必要 性 ,如 果 { 有 ,jE 8S) 是 马 氏 链 X 的 平稳 分 布 , 当 jE 8 时 , 由 定理 1 与 定理 2 
对 任何 iE€ES 都 有 lim ?一 0。 内 平稳 分 布 的 定义 及 C-K 方程 ， 完 全 与 式 (37) 的 证 明 相 同 ， 可 
证 得 
一 Dm, jEQ, n=1,2,., 
此 式 右 方 的 级 数 一 致 收敛 ， 故 
= Omim p89)=0, jE€Q。 


4E8 


当 JEcGE 六 时 ， 完 全 与 式 (38) 的 证 明 相 同 ， 可 证 得 
=- 包 二 l > ， jE€ECO,, yET, n= 1,2,. 
此 式 右 方 的 级 数 也 一 致 收 人 ， 令 nco， 并 用 定理 6 便 有 
jE€EC,, pyET, (48) 


由 前 面 已 证 的 结果 ， 当 iE8 时 ， 和 0， 全 个 是 由 正常 返 状 态 构成 的 不 可 分 闭 集 ， 于 
是 仅 当 i, j 属 于 同一 个 0, 时 所 =1, 而 当 i,j 分 别 属于 不 同 的 闭 集 时 所 ==0, 故 由 式 (48) 得 


7 = (2 遍 ， jEQ,, yET, 


令 为 一 和 2 所，yET， 由 上 式 便 得 太一 全 ，jE0,，yE 7, 而且 
D2» = DW Dr rt = ml 


rET SEC 


再 证 充分 性 ， 假设 存在 (之 0,yE 中 使 起 (15)、 6), 447) 成 立 ， 由 式 (46)、(47) 便 
知 7 之 0，jE5S， 而 且 利用 引 理 3 及 式 (45) 即 得 
> = > mr = > > 六 全 =- = 2 ,> 二 |= 2 一 


jEs jE rr py 1EC, 
故 (mm,je 4) 是 一 概率 分 布 .下 面 表 证 它 满足 方程 组 (29)、 即 为 马 氏 链 的 平稳 分 布 。 
当 jEQ8 时 ， 对 任何 iE5， 因 为 HH 是 闭 集 以 及 式 (46), 便 有 
2 一 LD 十 2 = 0= 
当 jEH 时 ， 那么 j 必 属于 某 个 hE DD, 既然 每 个 是 不 可 分 闭 集 , 于 是 当 i€E 1 一 
Ow 时 ，pij 二 0， 再 由 式 (46;、 (47) 可 得 


> op 一 > mp = 名 一 | ») 1 一 一 2 "| 《49》 
i€s iED in 


Li 
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之 e， 于 是 从 式 (49) 知 


2 mp, < | 2 产 克 | +e, jE CC CH, (S02 
i€ES ii Hs 
对 任何 状态 k€ C, ， 由 定理 6、 工 . 定理 15， 便 得 
D1 吕 (51) 
ia Lji i€B, HA 


从 而 ， 由 式 (50)、 (51) 以 及 e 的 任意 性 ， 得 
Dap < = jE€EC CH,pED, C82) 
ES Hji 


倘若 有 jE 如 使 式 (52) 中 的 等 号 不 成 立 , 那么 由 良 设 和/w<oo， 将 式 (52) 两 边 对 所 有 的 jE 


如 求 和 , 并 注意 到 je @ 时 已 证 的 结果 , 便 导 致 < 24m 的 矛盾 ， 故 只 能 有 他 4 和 一 和 
jE 五。 综 上 所 证 得 本 定理 。 

推论 ”对 于 齐 次 马 氏 链 : 

G) 其 平稳 分 布 存在 的 充 要 条 件 是 存在 正常 返 不 可 分 闭 集 ,等 价 地 , 不 存在 平稳 分 布 的 
充 要 条 件 是 H=2 

(ii) 存在 唯一 的 平稳 分 布 的 充 要 条 件 是 怡 有 一 -个 正常 返 不 可 分 闭 集 。 

Gii》 有 无 限 多 个 平稳 分 布 的 充 要 条 件 是 至 少 有 两 个 不 间 的 正常 返 不 可 分 闭 集 。 

(iv) 不 可 分 齐 次 马 氏 链 存在 唯一 的 平稳 分 布 的 充 要 条 件 是 所 有 状态 都 是 正常 返 的 。 

证 Gi) 如 果 瑟 一 儿 ， 便 找 不 到 满足 条 件 : 式 (15)、(46)、(47) 的 非 负 数列 {%. yE 六 
和 概率 分 布 {zy, jE S}， 依 定理 11 平 稳 分 布 不 存在 。 若 如 头 厅 。 则 诗 少 有 一 个 正常 返 尿 名 分 
闭 集 C,，yE 如 ， 这 时 总 可 构造 出 满足 式 (15)、(46)、(47) 的 非 负 数列 {为 , yE 他 及 {m， 
jES)， 依 定理 11，{mwy, jE 3)} 便 是 马 氏 链 的 平稳 分 布 ，( 得 证 。 

当 状 态 空间 8 中 恰 含 有 一 个 正常 返 不 可 分 闭 集 C,， 即 了 为 单 点 集 {?}， 这 时 为 只 有 叭 
一 的 选择 为 一 1, 依 定理 11 只 能 构造 出 唯一 的 平稳 分 布 ，(ii) 得 证 。 若 8 至 少 含有 两 个 不 同 的 
正常 返 不 可 分 闭 集 , 则 了 含有 两 个 以 上 的 元 素 , 于 是 可 以 构造 出 无 限 多 个 满足 条 件 式 (45)， 
C46)、(47) 的 {为 ,VE 中 及 {zj,jES)。 由 定理 1! 每 个 (7;,jE 尺 } 都 是 平稳 分 布 ，(iii) 得 证 。 

最 后 由 不 可 分 的 定义 及 已 证 的 (D 与 人 ii) 、 即 得 (Civ)， 推 论证 完 。 

定理 12 不 可 分 齐 次 马 氏 链 X 具有 平稳 分 布 (或 为 正常 返 ) 的 充 要 条 件 是 线性 方程 组 ， 

= Dub, jES, (53) 
ES 


有 非 零 的 绝对 收敛 解 {Wwj€ 3)， 即 0< 2 lw,1<o0。 而 且 此 时 还 有 


W,; 一 ( iw WW 下， jE S, (54) 
pa 
证 必要 性 ,如 果 X 有 平稳 分 布 , 则 由 定理 11 的 推论 之 0) 知 X 的 所 有 状态 都 是 正常 滩 


的 ,再 由 定理 10 知 {= 一 ,jE 中 是 X 平稳 分 布 . 依 平 稳 分 布 的 定义 , | 下- ,jE S| 就 是 方 和 
组 (53) 的 非 零 绝对 收敛 解 。 

证 充分 性 。 加 果 方 程 组 (53) 有 非 零 的 绝对 收敛 解 {Wj;,jE 5S)， 利 用 C-K 方程 ， 绝对 收 语 
性 及 伟 比 尼 定理 有 
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2 win 一 pA 2 = > | 2 pn] be, = 2 = W,,， jyJE€ 5, 


[1 


由 此 利用 归纳 法 对 任何 正 整数 都 有 


因此 可 得 
一 Dw Dn), R= 1 ,2 
由 于 绝对 收敛 的 假设 ， 上 式 右 方 级 数 一 致 收敛 ， 从 而 有 


Ww, 一 Sw tim >)| ,jE 8。 (55) 
iE3 sm 1 
已 假设 {Wj;,jE 8) 是非 零 的 ， 那么 必 有 某 j 使 W; 际 0， 故 在 式 (55) 中 不 可 能 对 所 有 i€E5， 


Jim 十 27? 二 0, 由 定理 6, 只 只 可 能 是 hm 二 py? 二 六 应 ,并 有 i 使 此 >>0, 于 是 二 >>0, 这 
表明 j 是 正常 返 状态 ， 又 因 X 是 不 可 分 的 ， 故 $ 中 每 个 状态 痢 是 正常 返 的 ,由 定理 10 便 和 
X 有 平稳 分 布 , 仍 由 式 (55) 及 上 述 道理 ， 同时 注意 到 工 . 定理 15， 即 得 式 (54) 。 证 毕 ， 

注 定理 12 不 仅 给 出 了 不 可 分 齐 次 马 氏 链 存在 平稳 分 布 的 代数 判别 法 , 回 时 还 给 出 了 
寻求 平移 分 布 的 一 种 代 孝 方 法 ， 针 求 线性 方程 组 659) 的 非 举 绝 对 收 笋 解 人 jc 5)， 然后 由 


式 (5 人 得 平和 分 布 | 记 -3 "jE s|. 
例 1 设 齐 次 马 氏 链 X 的 状态 空间 3S={0,1,…}， 一 步 转移 概率 矩阵 是 
ro pp 0 0 0 0 和 
gq 7 Ph 0 0 0 
P=10 rz py 0 0 (56) 
0 gs rs % 0 


其 中 p:>0， 7 之 0， 1 一 0，1，…， g>0， 1 一 1，2，…) ro 十 po 二 1， 4 十 和 十 PP 一 1， i 二 1,，2， 
…。. 容 易 看 出 对 任何 状态 iE 8, iSSi 十 1、 从 而 任何 两 个 状态 互通 , 所 以 不 可 分 。 称 此 义 作 
具有 一 个 反射 壁 “0” 的 随机 徘徊 .为 考察 X 的 平稳 分 布 ， 讨 论 相 应 于 (53) 的 方程 组 : 


尼 - = ?ozo0 十 ga, | (57) 
二 pi 十 二 1 ,2,.， 
它 可 化 成 

diz1 — boro 一 0， 

(0 一 b= ps = 1,2,, 
由 此 可 见 

0 b= 0 1 一 0 1……， 
ai+1 一 和 二 … 一 ee zo 一 2 “a i = 0,1,.， (58) 

其 中 P=， i=1，2,，…。 根 据 定理 12，X 有 平稳 分 布 的 充 要 条 件 是 方程 组 (57) 有 非 零 


绝对 收敛 解 ， 即 > = 达 oo ， 这 时 由 式 (51)、(58) 知 
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= 一 sl 1 六 ; s+ 六 全 
[+ | ， i i= 1,2， 《58 
是 X 的 平稳 分 布 ， 而 且 依 定理 11 之 推论 ， 这 是 唯一 的 平稳 分 布 。 

特别 地 , 当 b=p, 4=9, i 二 1，2,，… 时 ， > = = >)| 二 | ， 于 是 闪 有 平稳 分 布 


的 充 要 条 件 是 ?<9， 而 且 这 时 X 的 平稳 分 布 为 


一 9 一 ? z= P78) | 了 | ,= ... ; 
二 re | )， 了 《0 

如 果 还 有 po 二 z， 那 么 X 的 平稳 分 布 转 化 成 几何 分 布 ， 
“= |!1 一 上 (2)， i= 0,1,.。 (61) 


作为 本 节 的 结束 、 我们 回忆 并 比较 定理 10 及 其 注 。 又 如 果 齐 次 马 氏 链 X 的 每 个 状态 都 
是 遍历 的 ， 而 且 有 多 于 丙 个 的 正常 好不 可 分 交集 cr7E7， 那么 定理 3 已 指出 这 时 必 存 在 
极限 lim 好 = 外 记 ， 尽管 此 极限 与 有关 , 但 是 由 定理 11 之 推论 , X 却 有 无 限 多 个 平稳 分 


布 .上 面 的 论述 说 明 ， $ 1、§ 2 所 讨论 的 转移 概率 的 极限 性 质 是 反映 系统 的 浙 近 稳定 性 ,》 3 
所 讨论 的 平稳 分 布 的 存在 性 、 唯 一 性 反映 的 是 系统 从 始 至 终 一 贯 的 稳定 性 ， 两 者 之 间 有 联 
系 ， 但 又 有 区 别 。 


$4 计算 首 达 概率 与 平均 首 达 时 间 的 代数 方法 


无 论 是 在 考察 转移 概率 的 极限 性 质 , 计算 lim 2 与 lm ~ "时 , 还 是 在 判断 一 个 状 


态 是 否 为 常 返 的 或 正常 返 时 ， 都 需要 知道 首次 到 达 概 率 户 和 平均 回转 时 间 pj,。 昌 然 在 理论 
上 已 有 杜 伯 林 公式 可 用 来 求 出 js, 有 工 . 定 理 13 可 用 来 判别 状态 的 常 返 性 , 但 是 具体 使 用 这 
些 定理 时 , 首先 必须 算出 多 步 转移 概 案 矩阵 ,其 计算 量 是 相当 大 的 ,往往 不 是 切实 可 行 的 。 
值得 庆幸 的 是 对 于 马 氏 链 的 一 些 概率 数字 特征 常常 是 某 种 线性 方程 组 的 解 ， 恰 好 万、 必 也 
不 例外 , 因此 可 借助 求解 这 类 线性 方程 组 的 代数 方法 , 以便 达到 求 得 万 、 必 之 目的 。 并 且 这 
种 代数 方法 也 提供 了 一 种 鉴别 状态 类 型 的 有 效 方法 ， 其 实在 定理 12 中 已 经 显示 出 这 种 方法 
的 作用 .为 使 读者 能 够 较 完 整地 理解 这 种 方法 , 先 集中 地 给 出 几 个 有 用 的 关于 线性 代数 方程 
组 求解 的 引 理 。 


1， 线 性 方程 组 的 非 负 解 
引 理 4 已 给 线性 方程 组 


= Ps bh, i€S, (62) 
JES 
其 中 oj 产 0， 4 之 0，j，JGS， 心 是 可 数 集 。 令 
uD 一 一 > ouadg” ， 1 一 1 2 和， (63) 
JE 人 
Wi= Pu, iES, (C61) 


则 (Wi,iE 8} 是 线性 方程 组 (62) 的 最 小 非 负 解 
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证 ”所 假定 、 式 (63)、(64) 及 傅 比 尼 定 理 有 
= Dur 2 一 at0 十 Su 0 一 十 > Dau” 


1 ur nl 


二 b&b 十 Du ,Sup 一 咏 十 2 ayW. jo 


起 nl jES 


显 扑 镶 个 过 0 iES， 所 以 {Wi,i€E 5} 是 (62) 的 非 负 解 。 
设 { YES) 也 是 (62) 的 非 负 解 ， 则 可 证 WY,, i€5, 为 此 只 要 证 对 一 切 1 一 1，2，… 
| 


YW 会 Du | 《65》 


即 车 . 当 一 1 时 ， 
太一 Oat hb 0 = uu 一 DGES， 
jes 


踊 式 (65) 对 "一 1 成 立 。 现在 设 (65) 对 "=L 已 成 立 ， 则 
Y, 一 DyayY; 十 b; 之 Slaw 十 b; 会 会 Do > ug 十 b; 


jES j€ES JES n=l 
L L 
| SA 
= 2) Dl au 十 20 一 Dy utD + = WE+D, 《66) 
Mi 一 1 IE 了 [be 


妈 <65) 对 w== 工 十 1 仍 成 立 ， 由 数学 归纳 法 得 知 式 (65) 对 一 切 正 整 数 4 都 成 立 ， 引 理 证 完 。 
注 引 理 4 中 涉及 到 的 级 数 都 是 非 负 数 项 级 数 ， 即 使 发 散 ， 结 果 仍 然 成 立 。 
5l 理 5 设 {W,,i€E 5S) 是 线性 方程 组 (62) 的 最 小 非 负 解 ， 又 GCS， 则 线性 方程 组 


“mst ( 2 oiW;+h), i€EG (67) 
’ jES-0 
的 最 小 非 负 解 为 {W,,i€E C0)。 
证 由 假设 , 显然 {Wi,i€E 0} 是 线性 方程 组 (67) 的 非 负 解 , 现 设 {Y;,iE 0} 是 式 (67) 的 最 
小 非 负 解 ， 那 么 0<&Y, 志 WW，i€E 4, 下 面 得 证 上 反 疝 不 等 式 也 成 立 。 


< 
S$ v= 人 api 十 加 v= Dao, iEO, R=1, 2, +， 由 引 理 1 知 Y= >on， 
1 一 J 


Cy 
‘EG, 车 记 YA 21of， iEC，n 一 1，2，…， 则 


十 上 


Ye+D = p(n) \ Co 一 Cl) Yn) 
从 ”十 > vt + ba 2 jv | 
a1 
= + Do Sr) 
jEG 2 
=2 + OY, i€ CH= 1,2,, (68) 
jEG 


六 下 这 1 时， 
Ym = = 2 ouW+tbhh = Wi, i€ol, 
jES—0 
雏 设 = 上 时， 已 有 YI 宕 Wf ，iEG， 则 由 式 (68)、(66)， 并 注意 到 W, 之 WI? 宇 0, jE 5。 
YEtD = v0 十 Da 之 >》 ,ou 十 >， ajWID 十 太一 王公 + 


jEG JEQ jES—6 


应 轩 归 钠 法 知 ， 对 一 切 正 整 数 4， 都 有 YP 宕 W 人 了，iEG， 从 而 了 宕 W;,，iE 0。 综合 两 个 不 等 
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式 得 WW 二 Y;，iEG， 引 理 证 完 。 
引 理 6 在 线性 方程 组 (62) 


二 >》 az +b, iES 


jes 
中 ， 设 ou 之 0， 4 JES， 又 
让 一 21，8 之 0，2 一 12p， ES ， (69) 
sm} 
令 
ud PAW We+D 人 Da 二 btD, R=]1,2,.…, iE€ES, (70) 
jes 
WA DN i€ES, (71) 
sal 


则 {到 iE 5S} 是 线性 方程 组 (62) 的 最 小 非 负 解 。 
证 ”由 各 个 记号 的 含义 及 傅 比 尼 定 理 有 
W, 会 Yi 一 好 十 act 


awe ne 


一 bn 十 六 { > a 十 Be+D] 


分 筷 
= Dusl Si) 十 Sb 
Va th, ies, 
故 { 马 iE 8) 是 (62) 的 非 负 解 。 
设 {WiiE8} 是 (62) 的 最 小 非 负 解 ,采用 引 理 4 中 同样 的 记号 。 当 "一 1 时 ，, 歼 所 会 如 一 好) 
6 一 Wf? 一 WH, i€E 5。, 现在 假设 = 上 时, 已 有 Wea Pim Daur aw, i€5, 则 由 式 
〈69) 70) 


L L L 
一 一 一 下 - 
WH+tD 会 uf 十 > ut 一 gf 十 > ， > Gu") 二 Sbprtn 


m1 m=l] jES m1 
Lt1 Lr L 
NA Na、 飞 一 SA NA 
一 > 十 > ay > 委 上 十 > op Dug® 
m= jES mol JES3 m=l 
工 十 1 
一 Du 人 WhtD, i1E NS, 
Ld | 


应 用 归纳 法 知 : 对 任何 正 整数 都 有 WH 尖 Wf 四 ，iE 5S5, 从 而 访 宇 W;，i€E5， 故 只 能 是 克 
一 Hi，iES。 引 理 得 证 。 


为 了 探讨 线性 方程 组 (62) 解 的 唯一 性 ， 我 们 等 价 地 来 讨论 相应 齐 次 线性 方程 组 只 有 零 
解 的 情形 。 


引 理 7 已 给 齐 次 线性 方程 组 
| = Dy a 


iES i€ES, (72) 
lz| < 1, 


其 中 oj 之 0， Zl, i，JES。 令 
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ut 一 > ap， ut 一 be AM N= 2, ES， 
jES 
则 对 任何 iE5， 当 一 oo 时 ,uf Yu， 而 且 人 DECS} 是 方程 组 (72) 的 解 。 如 果 (w ES 也 是 
方程 组 (72) 的 解 ， 则 ll 和 us，iG 8S， 即 tu,i&€ 8} 是 方程 组 (72) 的 最 大 解 。 
证 ” 因 假 设 条 件 0 委 xD 科 1，iES，0 委 x 扣 全 Za oa, iE5. 若 已 知 0<uf? 
ES JE3 
Ch GD， i€ES, 那么 


Sn 
af+D 和 ol 人 


< Ze -Da vs 1ES。 
由 此 可 见 (P94 一 1,2,…)} ,iE 痢 是 单调 下 隆 非 负 有 办 的 1 的 数列 , 必 有 极限 im x 一, i 
ES， 注 意 到 级 数 寡 1asu?? 关于 一致 收 全 于 是 


uw 一 lim ut) 一 lim 2 ju 一 > an limuy” 一 2 i 
2 jES 

即 {w,iE5} 是 方程 组 (72) 的 解 ， 显然 0<u<1， iES。 

对 方程 组 (72) 的 任 一 解 (v,i€ 8}， 应 有 ju| 和 1，iE 8. 而且 Iw|< Zylv1< 和 
会 uiES， 如 果 已 有 |v| 志 ut*?，iES， 那 么 

lz| 委 | < om A utd, i€ Ss, 

即 对 任 一 正 整 数 ， 都 有 |w|<uf， i€ Ss, 从 而 juj<w， IE S。 引 理 得 证 。 

注 当 ux=0,iES 时 ,由 引 理 7 知 齐 次 线性 方程 组 (727 有 唯一 的 零 解 .这 时 相应 的 非 齐 
次 线性 方程 组 


1 JES 和 六 (73) 
| 


仅 有 唯一 解 。 
下 面 将 应 用 这 些 结论 去 求解 局、&; 或 判别 状态 类 型 。 


2. 首 达 概率 与 平均 首 达 时 间 的 方程 解 


先 讨论 首次 到 达 概率 。 
定理 13 对 任意 的 状态 JE 8， 首次 到 达 j 的 概率 {f,,i€E 8S} 是 线性 方程 组 
二 一 Dap i€ES (74) 
. [i - 
的 最 小 非 负 解 。 


:证 由 式 工 (8) .06) 知 ;由 二 py 所 二 2 189+? = rf ,4 一 1,2,… ,完全 类 
似 于 引 理 4 的 证 明 , 即 得 本 定理 。 
定理 14 DD 的 所 有 非常 返 状态 之 集 , 对 状态 j 记 SOD 会 人 DU 人 tS,i 和 让。 
Qi) 如果 状 态 ;是 常 运 的 ， 则 {J;,iED) 是 下 列 线 性 方程 组 的 最 小 非 负 解 ， 
a= Ppa > pm i€ED, (75) 


IED tESON) 


Gi) 如 果 状 态 ;是 非常 返 的 ， 则 (J;,i€ED}) 是 下 列 线 性 方程 组 的 最 小 非 负 解 ， 
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和 一 > puzs +ps, iED, 《76) 
7 
证 由 定理 13 知 
= fs + ij€ES., (77) 


当 j 为 常 返 状态 时 ， 对 常 返 状态 由 工 ,定理 15, 如 果 #E58C7),， 则 二 1, 车 儿 8(7)， 
则 ==0， 于 是 从 式 (77) 导 致 
= Zn 十 ,2 pis iE€D, (78) 
当 7 为 非常 返 状 态 时 ， 对 常 返 状态 4， 由 工 定理 7 定理 14 知 记 王 0， 于 是 从 式 (77) 导 
致 
本 i€D, (79) 


由 此 可 见方 程 组 (75) 是 方程 组 (74) 在 了 为 常 返 的 条 件 下 ， 取 引 理 5 中 的 6 为 DD 而 得 ,方程 
组 (76) 是 方程 组 (74) 在 7 为 非常 返 的 条 件 下 ， 取 引 理 5 中 的 6 为 D 而 得 ,于 是 由 引 理 5 即 
得 本 定理 。 
推论 ”如 果 状 态 ;与 + 属于 同一 个 常 返 类 ， 则 
fy= fu, i€ED, C80) 
证 当 状 态 j}、£ 同 属于 一 个 常 返 类 时 ， 则 有 (四 =8(f)， 于 是 由 定理 14 之 Qi) 知 {fi， 
i€ED} 与 (fu,iED} 是 同一 个 线性 方程 组 (75) 的 最 小 非 负 解 ， 歼 得 式 (80)。 
定理 15 令 
=7( NX € D) IX =), iED 。 (C81) 


即 a (iED) 是 系统 和 2 自 非常 返 状态 i 出 发 水 远 留 在 2 中 不 到 达 广 =8 一 D 的 概率 ， 则 
(i) {ayiED}) 是 如 下 方程 组 的 最 大 解 : 


1 iED iED., : (82) 
lz| < 


Ci) w 一 0， 的 充分 局 要 条 件 是 放量 A iE D， 无 非 零 的 有 界 解 。 
证 记 o 会 PR 人 (XED) 1%， iD 一 1， 2，…， tr 表示 和 自 ED) 出 


发 直到 时 ，27 一 直 处 在 D 中 的 概率 , 显然 af? =P CX1E DIXo= 让 = 0 委 afrm 
<afo ， 8 一 1，2，…， iD。 应 用 马 氏 性 、 齐 次 性 ， 对 任何 正 整 数 n 及 i€D， 
agorb = P(N CX € D) 1X = 


= 各 一 JE DX €E DIXo = i 


jED 


= ppP( A CX € D)IX = 


i€D 


= De, (83) 
于 是 由 引 理 7 或 概率 的 连续 性 定理 知 : ?co 时 ，c wyiED， 而 且 (aiE 1 是 方程 组 
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《82) 的 最 大 解 ，(GD 得 证 。 
如 果 齐 次 线性 方程 组 (82) 无 非 零 的 有 界 解 ， 则 只 有 了 唯一 的 有 界 零 解 ， 又 因 (iD 必得 
a 二 0,，i€ED. 反 之 ,车 a 二 0, iED, 因为 la,iED} 是 最 大 解 , 所 以 方程 组 (82) 只 有 有 界 零 解 ， 
不 可 能 有 非 堆 的 有 界 解 ，Gii) 得 证 。 | 
定理 16 记 C 是 Ii. 定理 36 状态 空间 分 解 中 的 任 一 常 返 不 可 分 闭 集 即 常 返 本 质 类 。 令 
fa SP( Uc E OX =i), i€D, (84) 
多 是 2 自 非常 返 状 态 ;出 发 终于 要 到 达 常 返 本 质 类 C 的 概率 ， 则 
(GD {fs,iE€ED} 是 下 列 非 齐 次 线性 方程 组 的 解 ; 
2 一 2 十 P51 i GE D。 (85) 
(ii) 方程 组 (85) 有 唯一 的 有 界 解 的 充分 必要 条 件 是 式 (81) 定 义 的 a=0, i€ED, 
证 对 任 一 iED 及 正 整 数 a, 以 f? 记 27 自 非常 返 状态 ;出 发 于 a 时 首次 到 达 常 返 本 质 
类 C 的 概率 .应 用 马 氏 性 、 齐 次 性 及 各 记号 之 意义 有 


f= Pp f= Dp #2 人 = Df ， C86) 
jEC J6C 


ml 


由 此 便 得 . 
fi = > = 六 十 2 jn) 


一 Zn 十 22ml 28") 
一 Dt mf jE€ED, 


注意 到 当 了 属于 不 同 于 5 的 另 一 -个 沿 返 本 和 类 C 时 , 因为 0 是 不 可 分 闭 集 ， 所 以 六 一 0， 
JEC' .将 此 代入 上 式 即 得 


= m+ Zo rsf 1 入 10， (87) 


这 表明 {f.,ieD) 满 足 方程 组 (85)，(i) 得 证 

如 果 方 程 组 (85) 有 两 个 不 同 的 有 界 解 ，{WfD ,iED),{W 名 ,iE D)， 则 其 差 {Wf? 一 WwW 多， 
iE 0) 必 为 方程 组 (82) 的 非 零 有 界 解 , 这 表明 方程 组 (85) 有 唯一 的 有 界 解 等 价 于 方程 组 (82) 
无 非 零 的 有 界 解 ， 再 由 定理 15 之 Gi》 即 得 本 定理 之 Gi)， 证 完 。 

其 次 讨论 平均 首次 到 达 时 间 。 

定理 17 记 轻 人 min {x 之 1; X,E1)}, 即 16 是 2 首次 到 达 常 返 状态 集 庆 的 随机 时 刻 。 
又 设 PCT5<<oo1Xo= 让 二 1, i€ED, 即 2 从 任 一 非常 返 状态 ;出 发 ,以 概率 1 迟早 要 进入 常 返 
状态 集 . 取 条 件数 学 期 望 友 全 8(7o1Xo=i)，iE 0， 则 (有 viE 中 是 线性 方程 组 

= 一 Ppt+1l, iED (88) 


JED 
的 最 小 非 负 解 。 . 
证 对 i€ED, 记 (BOAPCTo=1{ X= =POX ED IN = BVAP(To <n| Xo=i) 
二 P(X, ED,1Smn—1;X,€E IX, =) 之 0,n>2, 由 假设 条 件 知 ; 
ap 一 2 < oolXs =i)=1, Bb Sap, 


mml aml 
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OO 一 一 "ee 
利用 马 氏 性 、 齐 次 性 ， 对 任何 ;GE 有 

BEB? 一 P(OX ED,Xs € PIXo=i) 


一 mwPCx。 EDPIX=))= 1589 


JED 
Bo+D = > PCX， = jyX, € D, 2 nike ED|Xo = 1t) 
iED 
= PppP Xn E D2 EmEnX €E DIX = 
jED 
一 > 75B9， 1 之 2。 
jED 


从 而 
(nt DE = PpanB + BF, n> 1, 


jED 
由 此 应 用 引 理 6 即 得 本 定理 。 


回忆 工 . (5) 式 , 对 任意 i, jES， 定义 人 2a , 当 方 一 1 时 ，m 就 是 之 从 ;出 发 平 
均 首 次 到 达 jy 的 时 间 ,f;=1 时 , 是 7 的 平均 回转 时 间 ， 现在 不 论 卢 =1, 还 是 所 过 1, 都 有 
下 面 的 结论 
定理 18 对 任意 的 jE 8，{y,i€ 8) 是 线性 方程 组 
5 一 Ppa+fy, iES (89) 


1 


的 最 小 非 负 解 。 
证 由 工 .(6) 式 友和 一 名和 1 i，jES，n 一 1，2，…， 可 得 
人 十 1)19+D = Des D+ ft i jES, n=1,2,, 
又 已 知 1.(5) 式 与 1. (8) 式 ， 那么 从 引 理 6 即 得 要 证 的 结 吉 论 。 
注 对 于 不 可 分 齐 次 正常 返 马 氏 链 , 定理 12 实 际 上 已 给 出 了 计算 平均 回转 时 间 ,的 一 
种 代数 方法 。 


例 2 设 齐 次 马 氏 链 X 的 状态 空间 8 一 
1 


0,1,. 一 步 团 移 概率 算 隆 为 


0 
0 
g 9 (90) 
0 


0 
2 
0 
4 


Ou OOo” 


2 
P=|10 
0 


:ci 


其 中 0< ?<1,9= 一 1 一 显然 状态 0 是 吸收 状态 ,对 任何 状态 ijES 一 人 0) 之 0, 但 0 翅 , 却 
i3j。 称 此 X 作 具 有 一 个 吸收 壁 “0” 的 随机 徘徊 , 因 zw=1, 故 0 为 正常 返 状 态 , 又 任何 
iE 3 一 (0} 是 非 本 质 的 ,由 工 .定理 15 之 推论 ;是 非常 返 的 。 现 试 求 首 达 概 率 fo,iE 5 一 {0}。 
据 定理 14 应 求 线性 方程 组 
人 = pza 十 4， 
各 一 Baif+l 十 42-1， 
的 最 小 非 负 解 . 式 (91) 可 重 写成 
的 二 21) = gz 一 上)， 
PZt1 — 2) 一 gx 一 3)， 


+ 一 2 3m。 (91) 


62 马尔 科 夫 链 基 础 及 其 应 用 


由 此 可 得 
5 志 +1 一 二 3 一 Zi-1) 一 "一 [2] (2 — 1)， t= 2,3,° > 
a —1= BDL) D, i ol。 (92) 
m=0 


各 果 s<g, 则 2 | 全 | 一 > 呈 ， 但 作为 最 小 非 负 解 的 {fowi 一 1,2,…) 是 有 界 的 ， 由 式 (92) 


只 能 是 f=1， 从 而 f4= 二 1， i 一 1，2，…。 如 果 ?>>v， 因 为 我 们 只 讨论 非 负 解 ， 所 以 由 式 
(92) 有 


0 < In a =lim[1+ |2) -Dj]=1+ 2 一 工 ， 


m=0 1 一 全 
由 此 及 式 (92) 可 得 
' 送 了， 441 之 1 一 > 2)"|1 -= (2 ， 一 0，1，…。 93 
7 lp ? ? ， (93) 


不 难 直 接 验 证 tw = [了 | = 12， 是 方程 组 (91) 的 解 ， 于 是 从 式 (93) 知 它 就 是 最 小 


非 负 解 ， 即 各 一 | 二 | ，; 一 1，2，… 这 表示 当 ?> 总 时 ， 系 统 之 从 任 一 状态 江 >1) 出 发 迟 
早 要 被 状态 0 吸收 的 概率 为 | | ， 又 注意 到 8 一 10} 中 的 状态 都 是 非常 返 的 ， 于 是 依 工 . 定 
理 42， 对 任何 4 之 1， 系统 2 以 概率 1 迟早 要 离开 (1,…, 人 }。 帮 安 从 江 之 1) 出 发 不 被 状态 0 
吸收 要 向 无 穷 远 处 跑 去 的 概率 为 1 一 | 了 | 。 


现在 在 p<g 从 而 fo 一 1, 这 1 的 前 提 下 来 求 平均 首 达 时 间 如, i>1, 据 定理 18 即 求 下 列 
方程 组 的 最 小 非 负 解 : 


21 = pz 1， 
全 pm i 2 3, (94) 
% = paiti 十 q2i-i 十 1， 
可 将 式 (94) 改 写成 ， 
> ~ 1 
2 
1 1 一 2,3，…， 
Zi+1 一 名 = 0 


由 此 可 得 ， 当 ; 一 2， 3， … 时 ， 


-人 
-人 
i 
9 
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如 果 p<g， 式 (95) 可 写 式 
3 


因为 只 讨论 非 负 解 ; 4 之 0，; 一 1，2，…， 将 上 式 两 端 同 除 以 了 | |”, 然后 再 令 ioo 可 
和 


1 1 『S 
21 之 z+ 之 一 | 
1 gp 7 > [3 gp ga—p 之 


了 | 一 可 = 二 二， 1 
中 "Jr 


不 难 直接 验证 (二 ,i 之 1) 是 方程 组 (91) 的 解 ， 从 而 也 是 最 小 非 负 解 ， 故 = 
i 二 1，2，…。 如 果 p= 二 g， 由 式 (95) 应 有 
po = G+ Dom ilit 1), i= 2,3,%, (96) 

倘若 uw 为 有 限 数 ， 从 式 (96) 推 知 : 对 充分 大 的 ji :将 是 负数 ,这 与 o 非 负 了 矛盾 。 于 是 只 能 
是 mo 一 co， 再 由 式 (96)、 (94) 、 知 po 一 ce，t 主 1，2，…。 

在 上 一 段 中 已 经 阐明 首 达 概率 {f;) 与 平均 首 达 时 间 {u} 是 菜 种 线性 方程 组 的 解 ， 然 而 
状态 的 常 返 性 或 正常 返 性 是 用 首 达 概率 方 与 平均 回转 时 间 心 来 定义 的 ， 因 此 很 自然 地 会 想 
到 应 该 直接 去 探讨 线性 方程 组 的 解 与 常 返 性 之 间 的 联系 ， 从 而 导致 了 下 面 的 方法 。 


3。 常 返 性 的 代数 判别 法 


先 给 出 一 个 在 建立 判别 法 时 要 用 到 的 结论 
定理 19 不 可 分 齐 次 马 氏 链 X 的 所 有 状态 都 是 常 返 的 充 要 条 件 是 存在 状态 以 E358), 使 
得 对 一 切 JES 一 二 都 有 太一 1。 
证 必要 性 , 因 X 不 可 分 , 每 个 状态 都 是 常 返 的 ， 由 工 . 定理 15 知 =fx=1, i, jE€5。 
A 对 任何 状态 i 有 
= Ofs 二 p= 2 一 1， 


依 定义 i 是 常 返 的 ， 又 因 X 是 不 可 分 的 ， 所 以 8 中 的 每 个 状态 都 是 党 返 的 ， 证 毕 。 
定理 20 ”不 可 分 齐 次 马 氏 链 X 的 所 有 状态 都 是 常 返 的 充 要 条 件 是 存在 状态 JE 8S,， 使 
线性 方程 组 


多 
g—p ” 


Zi 一 > om， i € SC— {9} (97) 
bj 


的 有 界 解 全 为 等 。 

证 为 证 本 定理 , 可 以 构造 一 个 新 的 齐 次 马 氏 链 了 , 它 的 状态 空间 与 X 的 相同 为 8, 又 
Y 的 一 步 转移 概率 pa 与 X 的 相 比 , 对 iE 5S 一 (站,， KES8, pu 三 Pa, 而 记 二 1 pi 二 0。 妈 在 新 链 
了 了 中， 状态 7 改 成 了 吸收 状态 ， 其 它 都 保持 不 变 ， 于 是 从 状态 iE 3 一 (了 出发， 直至 首次 到 
达 5 的 概率 ， 新 链 Y 的 廊 与 原 链 X 的 广 应 当 相 同 ， 只 是 在 新 链 了 中 方 变 成 从 ;出 发 被 7/ 吸 
收 的 概率 .对 iES 一 (让 ,在 原 链 X 中 ,， 因 X 不 可 分 ， 故 多)， 然 而 在 新 链 了 了 中, 这)， 专 
i 所 以 ; 是非 本 质 的 , 从 而 是 非常 返 的 , 即 在 新 链 了 中 只 有 单个 状态 5 构成 常 返 状 态 集 17}》， 
而 $ 一 (分 是 了 的 所 有 非常 返 状 态 集 记 为 六 ， 又 记 6= 1 一 方 ，iE2， 此 对 是 相对 于 了 的 从 :; 
出 发 永远 留 在 非常 返 状态 集 2 中 的 概率 ,于 是 由 定理 15,， 方程 组 

z= Ppam, 1tED,Bs= pan,i ES— {) 


ED Pe 
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的 有 界 解 全 为 零 的 充 要 条 件 是 4=0,， iED, 即 扩 =1,，iED， 也 就 是 所 =1,, i€ 5 一 {站 }。 
再 依 定 理 19 知 这 等 价 于 式 的 所 有 状态 都 是 常 返 的 ， 证 完 。 

注 考察 定理 20 的 证 明 ， 两 个 马 氏 链 X 与 Y 从 状态 i 出 发 直至 到 达 状 态 j 为 止 的 运动 
情况 完全 相同 , 仅 在 到 达 ; 之 后 才 可 能 有 所 不 同 , 因此 所 = 启 , 而 且 状 态 ; 总 可 以 被 看 作 是 
吸收 状态 .这 就 提供 了 一 种 利用 已 知 的 一 些 马 氏 链 的 首 达 概率 之 结果 去 推算 未 知 的 马 氏 链 
的 首 达 概 率 的 极 有 果 的 方法 。 

定理 21 不 可 分 齐 次 马 氏 链 X 的 所 有 状态 都 是 常 返 的 充 要 条 件 是 存在 状态 jE5， 使 
线性 方程 组 

i= Dpam, i€ES— {) (98) 
的 有 界 解 必 为 常数 。 . 

证 如果 方 程 组 (98) 有 非常 数 的 有 界 解 {4,iE 5S}， 则 {w 会 一 ,iE 5 一 {站} 是 非 零 有 

界 数列 ， 而 且 对 任何 i€ 5S 一 {))， 


DP) pa = Dy Pau 一 《1 一 多) 地 
4 


ti 
一 D pa Wi 
ES 


故 {(wiE 5 一 {四} 是 方程 组 (97) 的 非 零 有 界 解 。 
反之， 如 果 方程 组 (97) 有 非 零 有 界 解 (toviE 5 一 (让), 令 w=| 那么 tu， 
iE 58) 是 非常 数 有 界 数列 ， 而 且 对 任何 iE 5 一 (办 ， 
> pi 一 > pa 一 名 一 39 
iES 二 尖子 
即 {w,iE 5} 是 方程 组 (98) 的 非常 数 有 界 解 。 
以 上 证 明了 存在 ;Es 使 方程 组 (98) 的 有 界 解 必 为 常数 等 价 于 存在 JES 使 方程 组 (97) 
的 有 界 解 全 为 零 。 再 由 定理 20， 结 论 得 证 。 
定理 22 称 线性 不 等 式 方程 组 
i 之 > puzt, 1 和 人 《99) 
HES 
的 非 负 解 为 马 氏 链 的 过 份 函数 。 不 可 分 齐 次 马 氏 链 居 的 所 有 状态 皆 为 常 返 的 充 要 条 件 是 其 
过 份 函数 必 为 常数 。 
证 先 证 必要 性 , 设 (u,iE 5S} 是 X 的 过 份 函数 ， 对 二 0，iE 5 的 平 几 人 情形 不 于 论述 。 
” 现 设 有 状态 ;使 4 汪 >0， 那 么 对 任何 iE8， 应 用 C-K 方程 与 侍 比 尼 定 理 可 得 
w > Dp > 2 pl > prt] 
rES PE3 kE3 
一 > Sprp) a 一 > ru, 1 所， 
iES rEs hES 
再 由 归纳 法 便 有 
Wi 次 Dru, n=1,2,, iE€ 5S, (100) 


因为 X 不可分， 所 以 对 任何 iES， ;>j， 从 而 必 有 某 正 整数 *, 使 ?>>0， 因 此 从 式 (100) 
即 得 
要 之 0， 1 和 So (101) 
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记 w 会 总 ， iES， 由 过 份 函 数 之 定义 及 w>>0， 


则 
wi 之 > pu 一 2) Paw 十 pi = 2 paws 十 入。 (102) 
1€ES Hj 4 
重复 应 用 式 (102) 作 人 琶 代 ， 
m2> Dl Dp + ty) + 

[A rj 9 

= 2 ,pugutu 十 Pp + pi 

上 er 

= >) pguti 十 fp 十 ff) 

trEj 


反复 登 代 并 应 用 归纳 法 得 

如 守 扣 十 十 的 十 1，iE 5,， n= 1,2,°。 
令 n>oo， 便 有 忆 之 广 ， 再 由 假设 条 件 与 工 . 定理 15 知 如 之 1}， 从 而 ww 之 ww，iE€5。 利 用 式 
(101) 及 上 面 的 论证 便 知 刀 宇 t，iE5S， 均 4 二 如 ，iE5， 过 份 函 数 为 常数 。 


再 证 充分 性 .任意 取 定 jE8, 令 全” ， ”注意 到 定理 13 中 的 式 (74)， 则 对 于 i 
有 
w= fi 二 2 pafss + py = 2 pafy (103) 
对 1==7 有 ~ 


一 1 之 有 一 fs + py = 2 


因此 {w,j€E 5} 是 X 的 过 份 函 数 ， 由 假设 必 : 为 常数 。 于 是 依 式 (103)， 当 话 了 时 , 及 =1， 据 定 
理 19, 和 的 所 有 状态 都 有 常 返 的 ， 定 理 证 完 。 
注 定理 20、 定理 21、 定理 22 都 给 出 了 判别 常 返 性 的 充 要 条 件 , 但 在 表现 形式 上 略 有 
不 同 ， 使 用 时 ， 应 针对 不 同 场合 适当 选择 方便 的 形式 。 
下 面 将 给 出 常 返 性 的 某 些 充 分 条 件 或 必要 条 件 。 
定理 23 设 X 为 状态 空间 8= 0，!1，…} 的 不 可 分 齐 次 马 氏 链 , 并 满足 下 列 条 件 : 存 
在 下 方 有 界 的 数列 {y.,iE 5} 及 某 个 状态 j, 使 得 iE 5 一 {办 时 ， 
Dy pay, Ey (104) 
#ES 
并 且 lim% 二 o, 则 XX 的 所 有 状态 是 常 返 的 。 
证 构造 新 齐 次 马 氏 链 Y, 其 状态 空间 也 为 5, 其 转移 概率 为 
pa; “天 旋 


jn 会 | ikE€ES, 
Oh 一 小 
对 了 而 言 ; 改 成 吸收 状态 . 因 式 (104) 仍 有 
Djinn Sy i€S, (105) 
ES 


不 妨 可 认为 之 0，iE 5， 否则 只 种 用 Jy 一 inf y. (之 0) 代替 y;，iES， 式 (105) 仍 成 立 , 反 复 
使 用 式 (105)， 由 C-K 方程 及 归纳 法 得 
Dn Ey i€ SS, m=1,2,°, 


ES 
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记 w=inf wr， 由 假设 知 lim ww 一 ， 故 存在 正 整 数 Y， 当 n> 时 ，w>0， 并 且 


> 六 和 0 之 av > DY, iES, m= 1,2,.,， 


”和 t= y+ 
» 
Pim 1 DP>1- ies, m=1,2,, 
Eze b= Nt!1 Uy 
Ca 1 罗 
从 而 ， 2 2 二 > 之 ! 一 冯 ， i€ES, 1 一 1，2，…， 
出 一 上 YY 


由 定理 6 知 存在 极限 lin 二 2) ip, 记 作 元 ,i 4E 5。 于 是 在 前 式 中 先 令 "co, 再 令 N 一 cc， 
便 得 入/ 坝 之 1， iE5， 另 一 方面 ， 由 法 都 定理 ， 对 任何 iE 3， 


Dt 一 >») lim nf i> Hr] < lim i if 上 yj ) = 1， 


吉 总 人 名 
故 和 二 1, iE 8。 

因为 不 可 分 以 及 Y 的 构造 ， 对 了 而 言 ， 除 7 为 吸收 状态 外 ， 5 一 { 诈 中 每 个 状态 都 是 
非常 返 的 , 于 是 元 =0, hE5 一 {), iES， 从 而 二 一 元 一 1 =1, iES. 而 当 iES — 人 
时 ， 有 二 有 一 1， 由 定理 19 即 可 断言 X 的 所 有 状态 都 是 常 返 的 。 

定理 24 设 不 可 分 齐 次 马 氏 链 X 的 每 个 状态 都 是 常 返 的 ， 则 线性 方程 组 


= Dap iES (106) 
ES 
有 非 零 非 负 解 {wi,iES}， 而 且 
wi = Mgii, ES, (107) 


其 中 = 为 任意 取 定 的 一 个 状态 ，2 是 一 非 零 常数 。 
证 任意 取 定 状态 ;, 由 工 . (9) 式 、1 . (29) 式 及 引 理 4 的 证 明 即 知 {w==g;i,iE 5S) 是 线性 
方程 组 
名 一 Dps 十 Diis 1 ES 
4 
的 最 小 非 负 解 .注意 到 w; 一 gj; 一刻 二 1， 便 知 {w==giyi€E 5} 是 方程 组 (106) 的 非 零 非 负 解 。 
如 果 {w,iE5) 已 是 (106) 的 非 零 非 负 解 ， 用 C-K 方程 与 归纳 法 ， 有 
一 2 i€ SS, n= 1,2,.…, 
并 且 必 有 某 *ES 使 由 >>0. 又 因 关 不 可 分 ， 所 以 对 每 个 底 5, 必 有 正 整数 ,使 克 ?>0， 从 
而 ， WW 二 2 ph us >0， 既然 (GAS 是 非 负 解 ， 那么 wi>0, iES。 现 在 令 
Qi 一 pi jE Sd, 


显然 gj 之 0， t, jE€ES, 且 
- 1 sn | 
J = hs = | ， 和 SS， 
JES ”JES 


因此 [9,] 可 作为 一 齐 次 马 氏 链 Y 的 转移 概率 矩阵 .利用 C-K 方程， 
gp = Dg = >) 这 和 Ps 一 wm 一 I 
ES ES 
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应 用 归纳 法 ， 可 得 了 的 任意 步 转移 概率 
gp 一 这 略 ， jES, n= 1,2, (108) 


由 此 及 X 不 可 分 知 了 也 是 不 可 分 的 ,着 且 从 式 (108) gh 一 了 p89 一 oo， 故 Y 的 所 有 状态 
都 是 常 返 的 .再 依据 定理 8 中 的 式 (24) (26) 知 对 任何 ,jE 5， 


L 
SG NS 
a ， 队 
1 = lim -3 一 lim 一 - 一 了 一 —ig;。 
Tc 一 人 了 Too WU 1 四 0 
Gi bi 
Lb =l] 
故 Wi= Wgi, YE。 (109) 


任意 取 定 状态 j)， 同 时 取 %*=w;， 即 得 式 (107)。 
推论 ” 设 不 可 分 齐 次 马 氏 链 的 状态 空间 8 中 每 个 状态 都 是 常 返 的 ， 则 
gugi = gus» i,jE€ES C110) 
证 在 定理 24 的 证 明 中 ,已 证 {w=gi,i€E 5} 是 方程 组 (1g63 的 非 等 非 负 解 ,将 它 代入 式 
(109) 即 得 式 (110)， 
定理 25 设 不 可 分 齐 次 马 氏 链 X 的 所 有 状态 都 是 常 返 的 ， 则 线性 不 等 式 方程 组 
a Dap i€ES C111) 
ES 
的 非 零 非 负 解 (w,i€E 5S} 也 具有 式 (107) 的 形式 。 
证 任意 取 定 一 状态 J， 令 


ga = pr i ,jE SNS, 
由 定理 24 的 证 明知 , 可 构造 一 齐 次 马 氏 链 Y, 它 以 Lg 为 一 步 转移 概率 矩阵 ， 且 Y 是 不 可 分 
的 ,了 的 每 个 状态 是 常 返 名 .又 因 


Sl 一 . pp < i 心 ， 


hES 9 入 i 
由 此 可 见 ( 笃 ,i€ 引 是 了 的 过 份 函数 。 据 定 理 22 ， 此 过 份 函数 必 为 常数 ， 即 从 一 2 ic 8， 
证 完 。 
最 后 讨论 正常 返 性 判别 法 ， 其 实 定理 12 已 经 给 出 了 识别 正常 返 性 的 一 种 代数 方法 .此 
外 ,再 介绍 其 它 几 种 有 用 的 判别 方法 。 
定理 26 不 可 分 齐 次 马 氏 链 X 的 每 个 状态 MES) 都 是 正常 返 的 充 要 条 件 是 线性 不 等 
式 方程 组 


二 ap i€ES (112) 
的 非 负 解 均 为 收敛 解 。 
证 对 任意 的 状态 JE S， 任 何 正 整 数 a， 由 工 . (32) 式 
2 = 一 + > 
及 傅 比 尼 定 理 可 得 


和 2 一 宛 > = 3 一 J 有 十 2]. (113) 


68 马尔 科 夫 链 基础 及 其 应 用 


由 此 可 见 ， 如 果 ; 是 非常 返 的 ， 则 fy<1， 从 而 和 gs 一 cos 如 果 j 是 常 返 的 , 则 fy 二 1， 从 
而 


9 = HN = Sf = py, (114) 


FT ml 


现在 先 证 必要 性 。 依 定理 25， 线性 不 等 式 方程 组 (112) 的 非 负 解 {w， IES) 具 有 式 (107) 
的 形式 ， 再 由 式 (!114) 及 了 是 正常 返 的 ， 即 得 


了 一 52 = hi < co。 
i€S 


再 证 充分 性 ,任意 取 定 一 状态 ED 回忆 定理 24 的 证 明 ， 已 证 (wi 一 gx，i€ 5} 是 线 
性 方程 组 : 和 二 apst ps ES 的 非 负 解 ， 而 必 =9p 一 帮 魏 1， 因此 有 


一 Diwpe 十 pi 之 > unpuy 1 和 
tj #ES 
即 (w= gi ES) 是 (112) 的 非 负 解 ， 依 假 设 是 收敛 解 ， 故 仿 49; 一 wo 由 前 面 已 证 的 


事实 7 必 为 常 返 的 ,再 由 式 (114) ， 必 一 Zs<%, 故 j 是 正常 返 的 , 既然 X 不可分, 那么 
一 切 状态 都 是 正常 返 的 ， 定 理 证 完 。 

定理 27 不 可 分 齐 次 马 氏 链 X 的 每 个 状态 ;ES) 都 是 正常 返 的 充 要 条 件 是 存在 非 负 
数列 {ww i€S)} 及 一 个 状态 j, 使 得 


Dhanm wm 1, i€S— {), (115) 
#ES 
Dp < 0, (116) 


证 证 必要 性 .在 XX 不 可 分 , 每 个 状态 都 是 正常 返 的 假设 下 , 先 证 对 任何 状态 i, JE 3， 
i 有 Wij< oo 由 于 x 不 可 分 ， 故 ji 从 而 必 存 在 某 正 整数 n《 之 2) 及 状态 by li 
天 j,m 二 1,…,n 一 1， 使 得 pipii…Pi_1 之 0。 又 根据 定理 18 及 常 返 性 得 

一 > paps 十 1 
4 
既然 ;是 正常 返 的 , 故 wp<co, 又 已 知 p>0， 六 j， 那么 从 上 式 导 致 必 如 ;过 50。 完全 类 似 
地 有 


= 2 ti 十 1 ， 


Pn 之 0， 记 六 j， 由 此 必得 ws<oco。 六 天 关 是 即 可 证 得 上 <<co。 
现在 任意 取 定 一 状态 J， 令 
人 1ES 一 《分 
2 之 
0， 4 一 )» 
仍 由 定理 18 及 式 (117)， 当 ;ES 一 {站 时 ， 有 
>») Pauw = > pap; =Ji— l=w—1, 
二 8 [od 


即 式 (115) 成 立 。 另 一 方面 式 (116) 也 成 立 ， 事实 上 ， 
paw = PPahy = pi— 1<%, 
KZ 


tcE 3 


(117) 


再 证 充分 性 。 由 式 (116)， 记 6= 2pam<eo。 又 令 
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WD ww wth 一 2 m, n= 1,2, 1 和 8 
由 式 (116)、(115) 、C-K 方程 、 博 比 尼 定 卉 ， 并 用 局 纳 法 可 得 


Ww = 6, Ww = > pa Ew — [I,iES— ()) 
hES 
4 we A CY di 
wt = | Dp pn le, = Dp? 
ES r€3 ?ES 


< op + Dp C0, — 1) 
rj 
= (1 + Op 一 上 十 Zp 


rj 
(+ 一 1+ wn, 
iES, n= 1,2,."。 《118) 


由 式 (118) ,再 用 归纳 法 便 知 :w** 之 oo0， iES,n=1,2,., 县 
0S<wts Ut Dp — n+ we 


mm 
wf 


] 
[二 了 | 一 用 


1 和 
故 却 儿 2 之 


由 此 可 见 lim 上 7 之 了 十 了 之 0， iE 5， 据 定理 6 状态 7 必 为 正常 返 的 ， 又 因 X 是 不 可 分 
的 ， 所 以 每 个 状态 都 是 正常 返 的 ， 定 理 证 完 。 

定理 28 设 X 是 状态 空间 为 $ 的 不 可 分 齐 次 马 氏 链 ， 且 每 个 状态 都 是 正常 返 的 ， 则 

w=， i jE€ 8, (C119) 

证 由 定理 10 知 交 有 唯一 的 平稳 分 布 (二 = 二 ,jE 3j。 依 平稳 分 布 的 定义 (mi 一 二， 

jE5} 是 线性 方程 组 (106) 的 非 零 非 负 解 ， 于 是 从 定理 21 得 知 力 王 Mgj，jJE 38， 其 中 ;是 任意 


取 定 的 一 个 状态 ， 和 是 一 非 零 常数 ， 特别 地 ， 瑟 一 296 一 人 /一 和， 从 而 gj 一 节 一 公 ， 定理 证 


心 7 
IC。 


例 3 考察 例 1 中 所 给 出 的 齐 次 马 开 链 XX， 即 此 X 作 具 有 一 个 反射 壁 “0” 的 随机 徘徊 。 
例 1 已 指出 X 是 不 可 分 的 ， 那么 试问 六 的 每 个 状态 是 否 都 是 常 返 的 ? 为 此 应 用 定理 21， 讨 
论 线性 方程 组 (98) ， 在 这 里 便 是 下 列 方程 组 ， 
zi t= 1,2,.", 《120) 
因为 1 一 "=4q 十 Pr，i= 二 1,2,…， 故 方程 组 (120) 可 改写 成 : 
Ps 2) = gi 1,2 ,1, 
从 而 对 i=1,2,… 有 


2 一 和 一 王 (a 一 2 汪 一 2 和 (2 — #0), (121) 
Di Dibi~i’""p! 
反复 应 用 式 (121) 即 得 下 式 
zt! = 2 (> 人 + — 4), i= 1,2,.， (122) 
t=!l £1 


各 果 {ui 二 0,1,…) 是 方程 组 (120) 的 有 界 解 ,那么 它 必 满足 式 (121D、(122)， 如 果 {wi,i 二 0， 
1,…} 不 是 常数 解 ， 则 必 避 了 wo， 事实 上 , 倘若 w= 二 wo， 由 式 (121) 即 得 多 #1 二 三 二 "二 加 二 
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to,i 一 1 2 ， 导 致 矛 盾 。 而 在 好 天 we 的 前 提 条 件 下 ， 必 有 之 生生 <co， 否则 由 式 (122)， 


1 Piper 


wr | 将 随 的 增 大 可 任意 大 ， 这 与 {tw 一 0， 二 } 是 有 界 解 矛 盾 。 故 (他 ,=0,1,…)} 为 方程 
组 (120) 的 非常 数 的 有 界 解 的 充 要 条 件 是 ww。， 且 之 /各 <oo。 由 此 可 见 ,X 的 所 有 状 
态 都 是 常 返 的 充 要 条 件 是 之 /全 全 一 oo, 特别 地 ,在 4 一 p， 4 一， i 一 1,2,… 时 ， 车 P< 
则 X 的 一 切 状态 是 常 返 的 ， 若 p>4， 则 XX 的 一 切 状态 是 非常 返 的 。 


由 定理 12， 例 1 实际 上 已 给 出 了 X 的 一 切 状 态 为 正常 返 的 充 要 条 件 是 他 -一 本 


< oo .特别 地 ， 当 B=?, d=4, i 二 1,2,… 时 ， X 的 一 切 状态 为 正常 返 的 充 要 条 件 是 pg。 
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尽管 前 面 三 章 所 论证 的 一 般 结论 对 于 有 限 齐 次 马 氏 链 都 是 适用 的 ， 但 是 在 因 状 态 个 数 
有 限 而 变 得 简单 的 情形 下 ， 会 有 一 些 更 精细 的 有 别 于 一 般 的 特殊 结果 ， 将 它们 集中 在 一 起 
专门 加 以 介绍 , 不 仅 在 理论 上 可 与 无 限 情形 作 一 对 比 ， 加 深 对 一 般 结论 的 理解 ,而 且 也 便 
于 具体 使 用 , 特别 是 在 许多 实际 回 题 中 , 经 常会 过 到 状态 个 数 有 限 但 数量 义 很 大 的 铺 形 , 对 
此 也 应 该 去 探寻 切实 可 行 的 处 理 方法 ， 以 上 便 是 本 章 要 论述 的 内 容 。 在 本 章 中 ， 若 无 特别 
声明 , X 表示 有 限 齐 次 马 氏 链 ， 状 态 空 间 8 是 有 限 集 。 
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定理 1 有 限 齐 次 马 氏 链 的 状态 空间 8 中 , 不 可 能 全 是 非常 返 状 态 , 中 必 有 常 返 状态 。 

证 倘若 3 中 的 每 个 状态 都 是 非常 返 的 , 依 下 . 定理 1 便 有 limp 一 0，i7E So 既然 
S 是 有 限 集 ， 这 将 导致 蔬 盾 : 

1 = lim Dp = 2) lim pf = 0, 
mT jes jEr ™™ 
定理 得 证 。 

在 第 三 章 中 已 经 指出 : 对 于 可 列 多 个 状态 的 齐 次 马 氏 链 , 它 的 所 有 非常 怒 状态 构成 的 
集 D 可 以 是 闭 集 也 可 以 不 是 闭 集 。 有 限 俏 形 却 与 此 不 同 。 有 下 面 的 定理 。 

定理 2 对 有 限 齐 次 马 氏 链 ， 由 一 霓 非 常 返 状态 构成 的 集 D 一 定 不 是 闭 集 。 

证 用 反 证 法 , 倘若 D 是 闭 集 , 则 由 1， 定理 31 之 注 可 产生 一 个 状态 空间 为 D 不 含 党 
返 状态 的 有 限 子 马 氏 链 ， 这 与 定理 1 矛盾 ,证 完 。 

注 或 直接 由 1， 定 理 42 之 Gii)。 即 得 定理 2。 

由 定理 1 与 定理 2 即 得 : 

推论 不 可 分 有 限 齐 次 马 氏 链 的 每 个 状态 必定 都 是 正常 返 的 。 

定理 3 有 限 齐 次 马 氏 链 的 状态 空间 8 中 不 可 能 含有 零 状 态 。 

证 倘若 有 零 状 态 i , 据 I. 定理 36 即 5 的 唯一 分 解 定理 知 ,此 i 必 转 于 基 个 全 由 常 运 
状态 构成 的 不 可 分 团 集 , 不 妨 记 为 C0; ， 又 依 工 , 定理 34, Ci 中 每 个 状态 都 是 零 常 返 的 ,于 
是 由 五. 定理 2 得 limp 人 ?二 0, jE€C， 注意 到 C, 是 有 限 闭 集 便 导 致 蔬 盾 : 

1 一 lim D7 一 >) limzo 一 0， 


一 ”Eco JEC "TT™ 


故 5 中 元 零 状态 。 


72 马尔 科 夫 链 基础 及 其 应 用 


在 第 二 章 中 已 指出 : 一 般 说 来 , 常 返 状 态 必 是 本 质 状态 , 道 命题 未 必 成 立 。 但 是 当 8 是 
有 限 集 时 ， 逆 命题 也 成 立 。 

定理 4 对 有 限 齐 次 马 氏 链 ， 如 果 状 态 i 是 本 质 的 ， 则 i 必 是 常 返 的 。 

证 已 知 i 是 本 质 的 , 取 闭 包 { 订 , 它 是 含有 i 的 不 可 分 闭 集 , 当然 有 限 。 由 工 . 定理 31 
之 注 及 本 章 的 定理 1, { 订 必 含有 常 返 状态 ,再 依 工 ,定理 34 知 i 必 是 常 返 的 。 

注 或 由 1. 定理 42 之 (ii) 推 出 定理 4。 

定理 5 有 限 齐 次 马 氏 链 从 任 一 非 本 质 状 态 〈 由 工 . 定理 15 之 推论 知 即 为 非常 返 状 
态 ) 出 发 以 概率 1 必定 要 达到 常 返 状态 ， 即 了，。(81) 式 定义 的 mw = 0, i€D。 

证 根据 定理 15， 自 非常 返 状 态 i 出 发 永远 不 离开 所 有 非常 返 状 态 构 成 的 集 D 的 
概率 a = 0,i € D 的 充 要 条 件 是 齐 次 线性 方程 组 : 

和 一 265， i€ED (1) 

无 非 零 的 有 界 解 。 

倘若 方程 组 (1) 有 非 零 的 有 界 解 {w,i € D} ， 因 式 (1) 是 齐 次 的 又 D 是 有 限 集 , 不 妨 可 
设 MM= max{wi ED >0, 且 有 icE D) 使 w, == MM, 于 是 从 式 (1) 得 


OM = Dr < ( Dro), 
jED jED 
由 此 可 见 》) pwj 之 1, 从 而 2 ps = 1。 这 表明 D 是 闭 集 ， 与 定理 2 之 结论 矛盾 。 所 以 式 (1) 
JED jED 


元 非 零 的 有 界 解 ， 故 a = 0,i ED ， 定 理 证 完 。 
定理 6 设 j 是 有 限 齐 次 马 氏 链 X 的 常 返 状 态 , 记 C(7) 是 含 ; 的 不 可 分 闭 集 ， 即 CC(Y) 
= {7} U {i € S, j=>1)} » 则 线性 方程 组 ; 


z= >771ut 十 2) pu, i€D (2) 

ED EC 
有 唯一 的 有 界 解 (fic ,tCD}, 其 中 ficw 由 下 . 式 (84) 所 定义 。 并 且 对 任何 rE C(D) 都 有 
fr = fiw, i€ D。 (3) 


证 由 定理 5, 对 有 限 齐 次 马 氏 链 , a = 0 ED ， 于 是 依 正 . 定理 16 知 (fei ED) 
是 方程 组 (2) 的 唯一 有 界 解 。 
因为 了 是 常 返 状 态 ， 所 以 也 是 本 质 的 ， 故 
SC 人 CDUGES 和 让 一 (人 ULGES, 和 让 一 CO)。 
由 此 可 见方 程 组 (2) 等 同 于 下 面 的 线性 方程 组 ， 
5 一 >)pam 十 >》1p， ED。 (4) 


:ED ES5G) 
式 (4) 即 为 于. (75) 式 ,根据 .定理 14, {fy,i€D} 是 (4) 的 最 小 非 负 有 界 解 ,由 前 面 已 证 的 
唯一 性 便 有 
fi = few, i€D, 

最 后 再 利用 下 . 定理 14 之 推论 便 得 式 (3)。 证 毕 。 

现在 用 下 面 几 个 定理 来 阐明 有 限 情 形 下 转移 概率 的 稳定 性 能 。 着 重 论述 有 限 马 氏 链 的 
遍历 性 。 

定理 7 (i) 有 限 齐 次 马 氏 链 为 遍历 的 充 要 条 件 是 丛 好 存在 一 个 正常 返 状 态 的 不 可 分 闭 
子 集 ， 而且 所 有 状态 都 是 非 周 期 的 。 
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Gi) 有 限 齐 次 马 氏 链 的 平稳 分 布 便 存 在 。 

证 先 证 0)。 由 定理 1 与 定理 3 有 限 齐 次 马 氏 链 必 有 常 返 状态 ,而 且 不 可 能 是 零 状 态 ， 
即 必 为 正常 返 状态 , 再 由 不. 定理 3 的 推论 2 便 知 所 给 条 件 是 必要 的 。 反之, 利用. 定理 
1 与 有, 定理 3 的 推论 1 即 可 证 实 该 条 件 也 是 充分 的 。(i) 得 证 。 

再 证 Gi)， 由 定理 1 与 定理 3 知 有 限 齐 次 马 氏 链 必 有 正常 返 状 态 。 依 据 下 , 定理 11 之 
推论 ， 因 fH 关 $ 而 断言 必 存 在 平稳 分 布 。 

定理 8 对 状态 空间 为 8 的 有 限 齐 次 马 氏 链 X ， 如 果 存 在 正 整数 mw 使 其 转移 概率 矩阵 
P 的 m 次 矫 P" = 5p 名] 中 的 每 个 元 素 丝 大于 0， 则 

(i) 对 每 个 i,j E ,极限 lim ?2 都 存在 ， 且 与 ;无 关 , 记 作 1 全 lim 73 ES。 


GD 瑟 一 过 ， Ni>0, jE€ES,; 1 《6) 
37 


证 由 .定理 4 即 得 (i)， 并 且 知 X 是 不 可 分 的 ， 既然 8$3 有 限 ， 由 定理 上 与 定 吏 2 之 
推论 X 的 每 个 状态 都 是 正常 返 的 ， 再 由 下. 定理 4 知 ， 每 个 状态 都 是 非 周期 的 ， 而 且 条 一 


DE = im Dm lies, 
定理 得 证 。 
推论 不 可 分 的 有 限 齐 次 马 氏 链 XX 具有 遍历 性 的 充 要 条 件 是 存在 正 整 数 m , 使 得 对 一 
切 57ES 都 有 po >0。 
证 充分 性 已 被 定理 8 证 实 。 现 证 必要 性 , 因为 X 有 限 不 可 分 , 所 以 每 个 状态 KE 3) 
都 是 正常 返 的 , wj 过 0,j EE 8 。 依 假设 X 具 有 遍历 性 ， 即 存在 不 依赖 于 i 的 极限 limz8 = 
1， ij Ss 于 是 根据 定理 3 之 推论 , 每 个 状态 jCE 5) 必 是 非 周期 的 ， 而 且 = lim 


洛 一 二 > 0,5 jE 8， 既然 S 是 有 限 集 , 必 可 找到 正 整数 入, 当 4 之 m 时 ,都 有 p99 > 0， 
jEs, 推论 得 证 。 
为 了 给 出 使 随机 和 矩阵 P 惟有 澡 广 作 的 区 分 条 件 并 估计 收 敏 速度 ， 需 做 以 下 准备 工作 . 
设 4 = [oyj 是 NXS 实 矩阵 ,N 是 一 正 整数 。 令 以,(4) 全 min (as), M;(4) 会 max {ev} 
1 之 j 所 NN。 对 任何 实数 4,6, 记 l(a,b) 全 会 min{a,b) ， 又 记 


6 CD A ra sa 1<i<ieN, (7) 
j=1 
6(4) 会 min {2 (4)) ， (8) 
- 1&i i 
从 这 些 记 号 的 信义 显然 可 得 下 列 事实 ， 
N 
(1) 6(C4) > Zou(4) (9) 


(2) 如果 4 中 有 某 L(I 志 工 志 和 W) 个 列 的 诸 元 素 aj 均 满足 ;m1(4) = min, {oj) 宕 6> 
0,7 可 等 于 此 工 个 列 的 任 一 序 导 ， 则 

6(4) 之 16 。 (10) 

引 理 1 设 4= [ayj 是 和 NX WN 随机 和 矩阵,B = [6j] 是 入 Xx 非 负 元 素 矩 阵 , 置 矩 阵 积 
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48 二 C= [ey] ， 则 对 任何 一 列 第 ;到 (1 委 j 和 入 ) 和 任何 两 行 第 ,zs 行 (1 二 ,is 全 N) 有 
jc 一 ci [1 ~ 6 (A)JLM,CB) — mB)), (11) 
从 而 


[C0) — m0) | [1 — 6A MD) ~ 1m;(B)J, (12) 
证 不 失 一 般 性 可 设 ij 之 Gigj? 于 是 有 | 


Nn 
NA 
jc 一 Ci 一 Ci 一 Gisj 一 > Qirbri 一 > br 一 > 《air 一 Gisr ) brj 


rel 7 一 】 
=— >， 《ai 一 Gi ) brs 一 > 《ai 一 gur)bri 
Si “iir< zr 
< 2 Cai 一 a M(B) 一 >) (air ~ ain)mCB), (13) 
如 5 a a, 
i 427 "1? 427 


因为 4 是 随机 和 矩阵， 所 以 >， (or 一 mr) 一 0, 故 


rl 
>) Cair 一 gi,r) = 2») (air 一 air) (14) 
Sr :< mr 


将 式 (14) 代 入 式 (13) ,并 用 式 (7) 便 得 
Ios— owl <{E Co 一 oo)][a(CD ~ mB)] 
iri 
= [Da ~— Les)) LM;CB) — mB)] 
一 [1 一 6 C4) JM;CB) 一 m;(B)J, i tb29) 过 N, 
此 即 式 (11)。 应 用 式 (8), 由 式 (11) 便 知 : 
es 一 一 ss 人 一 6(4) JLM;(B) 一 MB)]， ] < 委 11 了 过 N 
既然 上 式 对 任何 22:1 委 ii 委 站 都 成 立 ,又 六 是 有 限 值 ， 特 别 地 对 ou = M;(0) ,ci 一 
mi(C) 也 成 立 ， ey 
定理 9 状态 空间 & 为 (1，…，Y)} 的 有 限 齐 次 马 氏 链 X 的 一 步 转移 概率 矩阵 是 P = 
[pj] ,如 果 存 在 一 正 整数 mw, 使 P 的 m 次 短 P 二 [2 名 满足 下 列 条 件 : 记 6;= min 9 ，] 魏 
j<N, 
Yo = > 0, (15) 


JJ 一 1 


即 产 中 至 少 有 一 列 的 元 素 全 都 大 于 0。 则 X 具有 遍历 性 , 即 存在 不 依赖 于 ;的 极限 :limz 
一 1 < 让 二 而 且 》m 二 1。 此 外 , 还 有 


oo， 1 ,iN,n> mn, (16) 
其 中 [n/m] 是 不 超过 wm 的 最 大 整数 。 
证 因为 对 任何 4 = 2, 3, …, P= 二 PP"-!, 又 是 随机 矩阵, 于 是 对 任 一 个 固定 的 7(1 
志 j 亿 WN), 易 验证 
mAPT™) CmP) 委 MP) 委 MP!), (17) 
其 次 ， 当 mn > 时 , 取 4= 户 ,3 = P'-! ， 并 注意 到 此 4 是 随机 和 矩阵。 由 式 (9) 及 式 (15) ， 
可 得 
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1 之 5(04) = 6CPe) 之 ys, = > 0, 
因此 0 万 1 一 过 1。 利 用 引 理 1 中 的 式 (12) 有 
[LA — miP) TS (1 ~ LM CCP") — mCP'-™], 1&<j&N。 
有 反复 使 用 此 式 便 有 ;对 任何 j,i 专 j 专 六， . 
ER) — saCP))Y So WM PR) — gn Pine )] 
ji, 有 >。 (18) 
由 式 《17)、(18) 并 利用 区 间 套 定理 知 : 极限 lim 了 存在 与 i 无 关 , 而且 式 (16) 成立 。 又 


因 对 任何 正 整数 a, 记 是 随机 和 矩阵 ， 便 得 >)m = 1。 定理 得 证 。 


推论 1 有 限 齐 次 马 氏 链 X 以 {1,… ,入 } 为 状态 空间 ,一 步 转移 概率 矩阵 为 忆 = [pj] ， 
如 果 存 在 一 正 整 数 双 ,使 P" = [p98"] 中 有 某 工 个 列 (1 委 工 科 N) 的 诸 元 素 p95? 有 min tp)} 
之 6 之 0,j 可 等 于 这 上 个 列 的 任 一 序号 。 则 X 有 具有 遍历 性 ， 即 存在 极限 limz = ml < 


M 
壕 NW, 而 且 > 三 二 1。 又 当 nn 沁 贡 时 ， 总 有 


| jp st < Lm, (9) 
证 由 定理 9 及 式 (10) 即 得 本 推论 
推论 2 以 (1，…,N} 为 状态 空间 ,以 二 fp] 为 一 步 转移 概率 矩阵 的 有 限 齐 次 马 氏 链 
xX 具有 遍历 性 的 充 要 条 件 是 ， 存 在 某 正 整数 内 ,使 zz 中 至 少 有 一 列 的 元 素 全 都 大 于 0 。 
证 “充分 性 已 由 定理 9 证 实 。 现 证 必要 性 。 依 遍历 性 的 定义 ， 存 在 不 依赖 于 ;的 极限 ， 
lim J 二 Nj) 守 0， Iijij 人 eyN。 (20) 
因为 对 每 个 正 整数 w 产 都 是 随机 矩阵 ， 所 以 


和 一 j=l 和 1 


由 此 可 见 至 少 有 一 个 i(1 很 j 志 入 ) 使 之 0, 于 是 从 式 (20) 知 : 必 存 在 某 正 整数 m, 使 得 
3 之 时 ,都 有 Pp 久 这 0,1 夺 iN, 即 P",P"m,… 中 第 j 列 的 元 素 全 大 于 0, 证 毕 。 

以 上 的 讨论 引出 了 下 面 一 般 性 的 概念 与 间 题 。 对 一 个 入 XN 随机 和 矩阵 P== [pyj, 记 六 
三 [多 Ja 一 1,2,…。 如 果 存 在 不 依赖 于 i 的 极限 lim p99? 三 w,1 碾 i,j 全 入 ,或 等 价 地 车 
存在 某 正 整数 mm, 使 产 中 至 少 有 一 列 元 素 全 大 于 零 , 则 称 P 具 有 遍历 性 或 为 遍历 矩阵 。 判断 
有 限 齐 次 马 氏 链 是 否 具 有 遍历 性 ， 也 就 是 判断 它 的 转移 概率 矩阵 是 否 具 有 遍历 性 。 因 此 对 
于 实际 应 用 更 为 重要 的 问题 是 如 何 具 体 而 快速 地 判定 随机 和 矩阵 P 是 和 否 为 遍历 的 。 

如 果 PP 是 六 x 愉 的 遍历 随机 矩阵, 故 必 有 正 整数 m 与 (1 记 j 肆 六) 使 P" 的 第 j 列 元 
素 全 大 于 0, 出 式 (17) 知 Pt!、P"t?、… 的 第 7 列 元 素 也 必 全 大 于 4, 于 是 必 存 在 使 P" 中 至 
少 有 一 列 元 素 全 大 于 0 的 最 小 正 整数 mCP) , 称 它 为 P 的 遍历 指数 .对 给 定 的 正 整数 入 ,所 有 
N XW 的 遍历 随机 矩阵 全 体 记 作 {Ps} 。 现 在 试问 : 是 否 存 在 关于 {Px} 是 一 致 的 上 确 界 
m(Py) 会 pp ,mCP)}? 若 im(Py) 存在 有 限 ， 那 么 对 任意 取 定 的 N X Y 随机 和 矩阵 P, 如 有 正 


整数 n> nCPy) ,使 P" 仍 无 一 列 元 素 全 都 大 于 0, 则 立刻 可 断定 此 P 不 是 遍历 矩阵 , 因此 遍 
历 指数 的 一 致 上 确 界 是 一 个 有 意义 的 数字 特征 ， 关 于 它 的 存在 性 与 确切 估计 可 归结 成 如 下 
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的 定理 。 
定理 16 注意 给 定 于 整数 站、 相对 于 所 有 属 X 六 的 遍 押 随机 矩阵 集合 {Py} 而 言 , 遍 
历 指 数 的 一致 上 确 界 各 {Py} 避 丰 在 ,， 面 且 
(i) mE) A min{2Y, N?)}, N= 2,3,. (21) 
由 此 , 对 征 一 六 x 计 随 机 祭 隆 了 , 蚊 作 肌 需 作 [ZgN/lg20 守 1 次 六 史记 阵 乘法 ,就 可 刹 定 己 
是 否 具 存 凯 爵 性 ， 
Cii) 页 (pv) = NNN,3,. (22) 
由 此 ， 对 任 一 立 XY 随 机 矩阵 记 ， 最 多 只 需 作 ee 一 3 十 a /lg ?1 十 1 次 六 阶 和 矩 阵 的 
乘法 ， 即 可 判定 是 否 为 包 历 筷 际 ，， 
裤 理 10 的 证 明 篇 幅 较 大 ，、 本 书 环 作 论 述 ， 可 参看 文献 [19]、[201。 定 理 10 中 的 结论 
i 与 人 i) 是 一 致 的 ,后 者 比 前 者 更 为 精细 ,但 在 某 些 场合 使 用 结论 (2) 或 许 是 较 方便 的 。 
本 节 最 后 将 用 一 个 数字 实例 谈 介 绍 有 限 齐 次 马 氏 链 X 的 状态 空间 5 唯一 分 解 为 若干 
个 不 可 分 际 集 之 并 ,同时 缠 定 状态 周期 的 一 种 有 效 方法 。 
例 1 设 3= (1,…,7},X 的 一 步 转移 概率 港 阵 P 为 
1 2 3 4 5 6 7 
If0 0 Ma 0 V2 0 01 
211/3 0 0 13 0 13 0 | 
310 13 0 0 0 0 2/3 - 
u G 1 0 9 0 9 
510 ll 0 0 3 0 1/2 
6i0 0 14 0 3 0 0 
rs4 0 0 0 0 34 0J 
芭 出 如 下 与 P 相 立 的 有 向 图 作为 此 了 的 几何 表 钙 。 


图 1 状态 转移 有 向 图 

其 中 每 个 顶点 名 看 作为 状 六 bb 1，…, 7 了。 对 人 一 le 7 ， 当 且 仅 当 25 之 0 时 , 才 表 示 为 
OO 四。 由 图 1 及 C-kK 方程 知 ， 自 17} 中 任何 一 个 状态 可 达到 任何 另 一 个 以 志 或 自 
己 , 因此 XX 不 可 分 而 且 每 个 状态 都 是 正常 返 的 。 现 在 要 对 按照 1. 定理 38 的 要 求 进行 分 
解 。 

先 任意 取 定 一 个 状态 ， 譬如 是 1， 而 将 状态 ! 所 属 的 分 解 后 的 状态 子 集 记 作 0。, 据 工 . 
定理 38, 应 将 一 切 自 状 态 1 经 一 步 转 移 可 达到 的 状态 所 属 的 分 解 后 的 状态 子 集 记 作 G1 , 在 
本 例 中 应 将 状态 3 与 5 归属 于 0;, 同 理 ， 应 将 一 切 自 状态 3 或 5 经 一 步 转移 可 达到 的 状态 
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所 属 的 分 解 后 的 状态 子 集 记 作 6; ， 照 此 方法 继续 做 下 去 ， 只 需 有 限 多 次 手续 , X 的 所 有 
(7 个 ) 状态 必 将 都 有 归属 ， 到 此 为 止 ， 并 得 如 图 2 所 示 的 每 个 状态 的 妇 属 表 。 


0 Ci 


DO 


-OO—© 
_O 
(6) 


图 2 状态 归属 示意 图 
根据 工 . 定理 38, 和 任何 两 个 状态 集 C.、6, 或 不 相交 或 完全 重合 ， 有 县 只 有 这 两 种 可 能 ， 
因此 在 图 2 中 应 有 : Gs = 06,0. = 0G。 最 后 便 得 :06 一 {1,4,6} ,0 一 {3,5) ,G2 == {2,7} ,并 
可 断定 周期 4 = 3 。 


2 有限 马 尔 科 夫 链 的 代数 处 理 方法 


研究 马尔 科 夫 随机 系统 的 稳定 性 能 ， 判 断 马 氏 链 是 否 具有 遍历 性 ， 判 别 其 状态 的 属性 
都 离 不 开 多 步 转 移 概 率 (2 人 ?} ,在 状态 个 数 是 无限 的 一 般 情形 下 ,直接 计算 {p99} 是 很 国难 
的 ， 有 时 甚至 是 行 不 通 的 ， 即 使 在 状态 个 数 是 有 限 的 特殊 铺 形 下 ， 计 算 量 之 大 、 繁 复 程度 
之 高 也 很 可 观 。 因 此 ， 如 能 推导 出 ?8 的 明显 表达 式 , 无 疑 是 很 有 用 的 。 本 节 将 任 借 代数 工 
具 寻 求 P 的 特征 值 与 ?9 、 遍历 性 、 常 返 性 ,周期 性 . 闭 集 等 之 阅 的 关系 。 从而， 给 出 了 只、 
lim p9*、f、w; 等 的 明显 表达 式 , 并 建立 了 常 返 性 、 周 期 性 、 状 态 空 间 分 解 的 另 一 种 判别 准则 。 
为 此 需要 先 做 一 些 准 备 。 


1, 几 个 预备 引 理 


定义 ”任意 取 定 正 整数 NN, 设 P 为 N x 认 方 隆 ， 称 数 和 是 P 的 一 个 特征 值 ， 如 内 存在 
非 零 NV 维 列 向量 X 使 得 PX = 这 成 立 ,这 时 称 此 X 为 相应 于 特征 值 x 的 《 右 ) 特征 向 量 。 在 
全 体 相 应 于 和 的 〈 右 ) 特征 向 量 的 线性 无 关 组 中 , 所 含 讽 量 的 最 大 个 数 称 为 P 的 特征 值 4 的 
几何 重 数 。 记 7 为 阶 单位 矩阵 ， 则 称 行列 式 | 人 一 P| 为 的 特 钙 多 项 式 , 称 1 一 天 一 
0 为 P 的 特征 方程 ， 特征 方程 的 根 * 称 为 P 的 特征 根 , 特征 根 * 的 重 数 称 为 的 代数 重 数 。 

引 理 2 设 P 是 NN XN 实 方 阵 ， 则 

(i) 4 为 P 的 特征 值 的 充 要 条 件 是 2 为 ?的 特征 根 ; 

di) 以 户 表示 了 的 转 置 和 矩阵 ， 以 XP) 记 P 的 所 有 特征 根 全 体 ， 则 XP ) 一 XP); 

Giii》 设 P 的 特征 值 4 的 几何 重 数 为 0, 此 4 作为 P 的 特征 根 的 代数 重 数 为 p, 则 6b 9 。 

证 由 定义 及 齐 次 线性 方程 组 有 非 零 解 的 条 件 即 得 (i) 。 注 意 到 IX 一 P' | = |X 
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一 P)' | = 一 PP 便 知 2CP ) = 4(P) 。 至 于 (证 ) 证 略 ,参见 [16] 。 

注 ”在 有 些 书 上 09, 定义 数 和 为 P 的 一 个 特征 值 , 如 果 存 在 非 零 Y 维 行 向 量 Y 使 得 YP 
一 和 Y 成 立 , 并 称 此 Y 为 相应 于 特征 值 的 〈 左 ) 特征 向 量 。 由 前 面 的 式 子 便 有 P'Y' = 好 / 
, 故 根据 引 理 2 之 〈i) 知 上 面 两 种 方式 定义 的 特征 值 概念 实际 上 是 等 同 的 。 

在 本 节 中 , 为 了 叙述 方便 起 见 ,， 不 妨 设 有 限 齐 次 马 氏 链 的 状态 空间 8 = (1,… ,NW}), 转 
移 概率 矩阵 已 是 W X WN 方 阵 。 

引 理 3 = 1 是 转移 概率 矩阵 P 的 特征 值 ,并 存在 相应 于 ^== 1 的 P 的 非 负 特征 向 量 。 
又 任何 P 的 特征 值 的 模 都 不 超过 1。 
”证 因为 P 是 随机 和 矩 降 ， 所 以 4= 1 是 | 一 P| = 0 的 一 个 解 ,由 引 理 2 之 GD 便 知 
= 1 是 P 的 特征 值 。 易 验证 X = [1,…,1] 是 相应 于 1 的 P 的 正 特征 向 量 。 

设 4 是 P 的 任 一 特征 值 。 那 么 |27 一 P| = 0, 从 而 齐 次 线性 方程 组 ;C41 一 PD)X==0 必 
有 非 零 解 列 向 量 C = [co ev] 即 ie 一 2100 一 1。 即 然 C 非 零 ,又 X 有 限 , 故 必 


和 1 


有 tl 志 * 记 入 ) 使 1c| = max, 10 > 0. 由 此 可 得 


~ Ny 
12ei| 过 有 委 |e| > 8 一 cl| ， 1 一 ly Ns, 
一 1 


j=1 


特别 地 ， 对 一 也 有 : || 和 !c|, 或 | 外 肆 1, 引 理 证 完 。 
引 理 4 以 40)Gi,5 = 1,…,Y) 记 和 矩阵 人 粹 一 了 中 第 i 行 第 ; 列 元 素 的 代数 余子 式 ， 则 
4;(1) = 4i(1), j= 1 N, 《23) 
即 7 一 P 中 每 一 行 上 所 有 元 素 的 代数 余子 式 均 相 同 。 
证 不 妨 取 i= 1,; = 二 2， 那么 


1 ~— ?za Da 一 ?av 
一 1 一 os 一 
4 一 (一 Dr ?7% ?ay 
一 py2 一 Bra 2"°* 1C— Pyy 
一 pzl 一 Da “°° 一 Py 
MD = (Da 一 和 
| 一 Py! 一 pv … 1 byy 
N 
由 行列 式 的 性 质 ， 在 4,(1) 中 , 将 各 列 之 和 代 换 第 一 列 后 ， 其 值 不 变 。 再 利用 > mm = 1， 
j=1 
可 得 43 = 4u(1) ,一般 情形 类 似 可 证 。 
引 理 5%9 设 任 给 的 入 X YY 方 阵 已 = [Lp] 的 特征 多 项 式 jv 一 P| 记 作 
BDA) 二 入 一 和 和 个 十 A422 一 玉 十 (一 1)*Ay。 (24) 
删 去 P 中 的 第 ; 行 .第 i 列 (1 委 i 魏 YY) 所 得 和 矩阵 的 特征 多 项 式 记 作 
DM) = Ba BA 1 'Biy-1o | (25) 
则 对 任意 的 i= l,m NY, 均 有 
SN 2) (一 Ap Ht 1 Oo Bs Boas oe + (— I IBy-2 !o (26) 
i=0 j=0 


其 中 规定 和 二 1, = 二 1。 
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证 由 规定 , 当 z== 0 时 , 式 (26) 两 方 皆 为 1 故 式 (26) 成 立 。 当 z 天 0 时 , 分 以 下 两 种 
情形 证 明 。 


车) 一 过 不 是 P 的 特征 值 ， 那么 


det(T 一 2P) = zdet| 二/ 一 ? 一 | | 


=1~— Az+ A 二 (~ 1)*Ayz* 天 0， 《27) 
故 (1 一 zP) 为 可 逆 矩 阵 , 存 在 ( 一 zP)"' 。 又 注意 到 
N—1l—t 太一 1 一直 一 1 一 二 
Pizi| (I 一 zP) = Pizi — VY Pi+rlzi+l 一 一 Pr-izN-t, 
(2 名 
对 任何 上 一 0, 一 1 都 成 立 ， 由 此 可 得 
N—iN—i—} 
DY YC— 174iP'#+i = Di DA — Pr) 0 — ap)-， 
Be0 jx0 k= 
一 1 忌 一 1 
= [Se 1 一 (六 (一 Di4PY9 a 一 sz) 
2 一 0 py” 
(28) 


依据 凯 莱 -哈密 顿 Cayley 一 Hamiliton》 定 理 知 : 
BP) (一 Dupx = 0， 


tO 


故 


YX 一 ! 


(一 DY4w 一 一 > (一 1)dPxm。 


t=0 
将 此 式 代入 式 (28) 的 右 方 ， 便 有 

N—iN—1— 
2) >) (一 Da = [Se DA 十 (一 DYAye |10 一 2zP)-: 
tum0 0 kD) 

-a 

t=0 “ 
= 20 二 | (1 — zp)-!, (29) 


又 ! 一 zP 的 第 ; 行 第 ; 列 元 素 的 代数 余子 式 与 P 中 除去 第 ; 行 第 ; 列 所 剩 的 CN 一 1) X (Y 一 
1) 矩阵 的 特征 多 项 式 在 二 处 的 值 分 别 依次 为 


1 ~— zpy 和 A! 一 26 一 52ly 
一 2pn Apu EDUtl 7 Zbly 

、 
一 ZHU 一 Zpitut 二 一 MATE 一 ANiA+IN 


一 ZVBxi 一 22 一 ! 一 22vi+l … 1 — zpyx 
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1 
二 一 有 1 Pi-! Pir! 一 ?Biy 
Pi~il 2 Di~iui~l Bitl °° Piy 1 
1 四 ol :| ’ 
Pitil °°® P+tu-1l 也 Pitlitt "" 一 PilN 
1 
一 Pa! oe 一 Pol 一 Pyitl “** 之 一 Pxy 


对 比 上 面 两 式 便 知 前 者 即 1 一 沁 的 第 i 行 第 i 列 元 素 的 代数 余子 式 等 于 zx- 吕方 |. 由 式 


《27) 已 知 | 一 zP| = zo| 十 Ee 因此 《一 zP)-! 的 第 i 行 第 i 列 元 素 是 


| ze| 二 | ] 2 二 | ， 再 由 式 《29)、(25) 即 得 式 (26) 。 


\【 之 


车 4 一 圭 是 P 的 特征 值 , 因为 式 (24) , 2(7) 是 的 连续 函数 ,而 且 特 征 值 最 多 5 


个 .于 是 对 足 鄞 小 的 8 之 0, 总 可 使 中 去 十 | 天 0， 令 


pi—o6 i 二 
P, 会 Ty,06)] 会 | | ， 
Dj, 1 天 了。 
汪 记 内 特征 多 项 式 | 和 类 一 P| 为 由 (%) ， 而且 

入 -一 《2 一 G) 一 pz nc. . pix 
， 一 也 一 (oo — 6) — Dy, 
DA) == | 2 D2x 
| — pu 一 pm py | 


一 16 十 07 一 站 一 20 十 9 天 0， 


只 有 和 


(30) 


(31) 


依照 前 面 的 方法 可 对 忆 建立 起 相应 的 式 (26), 然后 对 此 式 令 5y0, 由 式 (30)、(31)Ps 一 PP， 


(4%) 一 D(X) ， 便 知 式 (26) 仍 成 立 ， 引 理 证 完 。 
下 面 再 给 出 一 个 常 要 用 到 的 引 理 。 


引 理 6 对 任 给 的 正 整数 MLM 之 2, 以 及 任意 的 互 不 相同 的 数 久 ,和 ,… ,hr ， 则 


C 2 10， r= 0 M2, 
i= 1 fo 二 U1, ?r= 二 M1。 


1 

证 为 证 本 引 理 ， 要 用 到 用 渡 的 二 特 《Vandermonde》 行列 式 
| 1 .1 
| /人 A 机 ms ! 
| as 
ja 


(32) 
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邮 一 上 a 
v= [6-0; (33) 
in Ji 十 1 
MM 
一 0， i=2,.…,M, (34) 
jl 


其 中 号 是 和 了 的 第 ; 行 第 了 列 元 素 的 代数 余子 式 。 
首先 ， 对 7 二 0 的 情形 证 明 式 (32) ， 即 证 


要 


S70， (35) 
™! I 《AN 一 和;) 
j=1 
ji 
式 (35) 左 方 可 改写 为 
阿 -1 -=- 王 D” 二 六 I 
Ev tt 
“=! IC%— %») 人 ww 一 2 Ta- IT (Cu 一 入 h) 
一】 j=2 j=it+1 
ji 
1 . 
十 元 一 一 一 (36) 
Ho 一 0 
将 式 (36) 右 方 各 项 通 分 ， 并 利 用 式 (33) ， 第 一 项 变 为 
Do 
TEL 一 和 I 
j=2 i j=i+] 
= Dy 
[I 
isl j=i+] 


一 般 地 ， 容 易 验 证 第 ?项 可 写成 


M—1 AM 


zr HI- 
I I (0 机 记 ) 江 人 


im1 j=i 二 1 
一 一 17)w+ae， 二 1, … MM 《37 
[Ff I 《入 一 入) 
is ji 
将 式 (37) 代入 式 (36)， 并 利用 式 C34) 可 得 
™ | 一 = V im 一 0 
< 一 / 好 一 | 好 一 
一 TI TE cv 一 和 
j=1 iT j=i 寺 1 
ji 


式 (35) 得 证 。 
对 0<7 委 妈 一 1 的 情形 ， 将 采用 关于 > 和 六 的 双重 归纳 法 来 证 明 式 (32)。 记 
> 和 


gu 一 2D) 一 一 一 ， r=0,.", MC—1, 
{全 
名 
当 WW 一 2 时， 显然 加 一 二 元 十 二 元 一 0， 而 若 一 元 二 元 十 元 二 和 一 1 即 式 (32) 成 立 。 现 


作 归 纳 假 设 : 式 (32) 对 M M 和 7 已 成 立 ， 即 
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(38) 


全 0 过 rr 过 M1, 
pur = 
1，, r=M—1, 

人 0 委 ” 十 1<< 内 ， 
Butirtl 一 1， 7 十 ] 二 M. 


(39) 


依 定义 ， 
M+1 Mtl 
put1lrtl 三 > 7 全 一 Fn 
”一 2 
全 、 
好 r 下 
-+ 坟 . (40) 
~ I a) hr) I Grr — %) 
六 
又 对 每 个 1== 1 ， 有 
r 7 一 pad 
夺 十 和 ihwti 十 … “十 Meri To Mr 


一 [CN+i 一 MMX 十 (Nu 一季 -12 十 
十 hr ~ HH) + W/m her) 
(41) 


一 Nt1/CA 一 M+1)o 


将 式 (41) 代入 式 (40) ， ， 人 
Fyre ] 


区 一 一 [x+ 十 和 Matt 十 十 和 十 大 二 


Putirti = 
多 再 一 为 ) 


Tc — %) 
和: 
= par 十 和 vi 十 十 和 Huo 二 Nputio, (42) 


由 归纳 假设 式 (38) 及 已 证 的 式 (35) ， 即 有 
Yi 一 0 大 一 1 7 一 1 7 一 1 一 1 puro = puo = 0, 


将 它们 代入 式 (42)， 并 用 归纳 法 得 


Putirtl = Pur, 一 


这 表明 式 (39) 对 W 一 2， 此 成 立 。 引 理 得 证 。 


2. 多 步 转 移 概 率 的 计算 公式 与 遍历 性 
定理 11 设 转移 概率 和 矩 阵 P 了 二 [ps] 具有 互 不 相等 的 特征 值 为, …，%r。 记 特征 值 称 相 


nM 一 2， 3， “eos, 


r= 1， 


3，， 


应 的 特征 矩阵 %1 一 P 的 伴随 矩阵 为 : 
An Ch) Az (7) 4xv (Ch) 
Aih) Ash) °° Avz (Nh) ， 1 =1, 0, N, 


《43) 


[7 PJ* omg 
iy CA) Azv (1) 轴 才 | Avy (hi) 
,V) 是 1 一 P 中 第 i 行 第 j 列 元 素 的 代数 余子 式 , 又 设 伴随 矩阵 


其 中 每 个 4;C%1)(i,j 一 
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中 的 每 一 列 [4n 2%), "Aw CX G 一 1，…，WV) 告 为 非 零 向 量 ， 则 a 步 转移 概率 为 
p97 一 DAG0acIT a — jl Ny 1,2, (44) 


2 


证 首先 只 要 注意 到 下 列 事实 ， 实 系数 代数 方程 的 复数 根 必 是 成 对 共 柜 出现 ; 两 个 共 
锯 复 数 z, z 之 和 或 积 丝 为 实数 ， 对 任何 实 系数 多 项 式 Flz) , 必 有 F(z) 一 FCz)。 由 此 便 可 断 
定式 (44) 右 方 的 和 式 必 为 实数 。 

由 伴随 矩阵 及 特征 根 的 定义 ， 并 用 引 理 2 之 (iD) 以 及 行列 式 按 行 展 开 的 拉 普 拉 斯 
(Laplace) 定理 ， 可 得 


AnCH)1 ro 
A 
[27 — P] 人 ) | - 9 Lk=1,',N, (45) 
La 0 ， 
即 伴随 矩阵 [%1 一 Pj* 中 的 每 一 列 都 是 相应 于 P 的 特征 值 kx 的 特征 向 量 。 令 
An (Ch) Aii (Ch) 机 A Chy) 
12( 5 机 12 人 AN 
PE) 一 AizAh) Arkh) Arz( Ay ) C46) 
iv Ch1) Arw (Nh) | Aiv (hn) ， 
= [TE) ,Tek) ,oo Ty Ck)], k= 二 1» ‘oN 0 


其 中 ，ZT.C8) 二 [4 《0) 40 4v()] ， (一 1，…，N。 因 为 人，…，?x 是 互 不 相同 的 
让 全 所 以 由 代数 知识 7 〈t 中 各 列 相应 的 特征 向 量 是 线性 无 关 的 ， 从 而 每 个 7(6 (= 
…YV) 都 是 可 逆 的 ,而 且 2( 的 逆 矩 阵 为 
TI CE) TCk) 机 Ty Ck) 
TD = 1 0 0 . 人 ， 
Ty Ck) Tyy (k) 机 Tyy lk) 
其 中 Tb Gj,k 二 1,… 入) 是 TC) 中 第 ; 行 第 ; 列 元 素 的 代数 余子 式 。 注 意 到 和 CE) (= 1， 
…) 是 相应 于 书 的 特征 值 入 的 特征 向 量 ， 便 有 
TI PTE) = LTE PUT CL), TCk), »%, ToCk)] 
= TTICE) LPT, Ck), PToCE), 1 PTy (Kk)) 
= TTICE) ATIE), Tek) AyTy Ck) 


=1,%N, (47) 


A 0 Mb 0 
0 Az sr. 
= ， 下 一 1，…，NVi (48) 
0 0 Ay 
AI 0 0 
0 ]2 se 0 
或 P= TC) PT-1Ck), k= 1,.,N, (49) 
0 0 oo Ay 


反复 利用 式 (49) ， 以 及 归纳 法 ， 可 得 
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hn 0 
0 … 0 

PpP* = T(E) TICE) k= l,m,N; 1 一 12 (50) 
0 0 -入 


展开 式 (50) 的 右 方 ,并 应 用 式 (47) 即 得 
= SAO ED 


[7 T’ jh lo Ns n= 1,2,. (51) 


虽然 T(4) 依 赖 于 £,，% 二 1，…，N， 但 是 可 以 证 明 ZI) 的 第 类 个 列 向 量 与 和 无 关 ， 即 有 
Tulk) _ 1 


二 一 一 一 一 一 lk= 1 N (52) 
T(E) vy 9 》 ? [4 
人 
于 是 在 式 (51) 中, 取 4 一 j, 然后 将 式 (52) 所 得 的 由 发 全 代入 式 (51) 即 得 要 证 的 式 (44) 。 
剩 下 的 只 要 证 式 (52) 。 为 此 考察 下 面 的 非 齐 次 线性 方程 组 : 
2 G1 | 
各 站 | > 《 k,\ 
TOE) 2 一 中 3 人 一 1 ， “er, 和 On = 人. | (53) 
: ; 1 ， l= £, | 
ZN Ovr 
因 T(E) 可 首 , 故 [zz ,zy 了 一 T7162 9 s Ove)! 。 即 得 方程 组 (53) 的 解 : 
a = TPA/AITG) |, i= 1, NN, (54) 


又 因 (53) 是 Y 个 未 知 数 Y 个 方程 的 线性 方程 组 ， 系 数 矩 阵 行列 式 |7(b | 关 0， 故 (54) 是 
(53) 的 唯一 解 。 另 一 方面 , 可 将 方程 组 (53) 写成 如 下 的 形式 ， 
A (Ai) ZI 十 十 An (hv)zy 一 0， 


44u(N)2i 十 … 十 4u(Mv)zv = 1， k= 1，…Aw， (55) 


Aiw Ch1)21 十 十 Aiv(Ar)zy 一 0， 


其 中 每 个 代数 余子 式 4 和 0) G4,j,! 二 1,… ,NV) 都 可 展 成 和 的 多 项 式 ， 对 每 个 =]，…，N， 
| Au%) 二 入 十 bw 入 十 十 bux， 
[400) 一 Be 二 
其 中 系数 5,,，j，i 二 1，…，V 都 只 是 矶 ， ij 王 1，…， 六 的 函数 ， 都 不 依赖 人 和 !。 将 式 
《56) 代入 式 (55) ， 并 经 整理 可 得 : 


(56) 
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MM 3 
briz D> 2 十 … 十 bx Da 一 0， 


twe 1 [ni 
a Sa 
Db 1 (57) 
Ez] fl t= 


NY 


N 
bivz EF 十 … 十 biyy > 22 = 0。 
i=l 


利用 引 理 6， 易 验证 
二 | 
I[G% 一 1) 


mt 


t= 1], ,NN, (58) 


ZL! 


是 方程 组 (57) 的 解 ,既然 方程 组 (53) 即 (57) 的 解 是 唯一 的 ,因此 由 式 (54)、(58) 即 得 式 
《52》 ， 证 毕 。 

当 己 的 Y 个 特征 值 2 ，…，)j 不 是 互 不 相等 的 ， 即 特征 根 中 有 重 根 的 情形 , 仍 可 推导 
出 多 步 转移 概率 的 计算 公式 中 7 了 D9。 

定理 12 设 入 是 转移 概率 矩阵 P 的 必 , 重 特征 根 , /二 0,，1，*…*，t， 和 二 No 十 合十 十 
Ni， 则 对 任何 i，j 王 1，…，N， 
| 和 4 ND 

| ， = 12 (59) 


TTG 一 和 wm 
mx! 
其 中 F(A 人 i? 了 表示 消 数 F(4) 在 入 处 的 入 一 1 阶 导 数值 。 

限于 篇 幅 定 理 12 的 证 明 这 里 从 略 , 详 细 证 明 可 参见 文献 [18] ,利用 公式 (44) 和 (59) 计 
算 pz 外 比 采用 一 般 传 统 的 方法 如 文献 [10] 中 所 给 的 方法 要 简便 得 多 。 下 面 再 进一步 讨论 与 
z 多 的 极限 有 关 的 性 质 。 

定理 13 设 有 限 齐 次 马 氏 链 X 是 不 可 分 的 ,并 具有 遍历 性 , 则 极限 概率 lim pF 7s) 
二 1], ,入 ,由 下 式 给 出 : 


(3) 一 > 1 
1 = 2 th 
t=0 = 


一， ‘60) 
从 而 平均 回转 时 间 为 


1 = j= 1, ,NN, (61) 
证 由 定理 2 之 接 论 、E, 定理 3 之 推论 、E. 定 理 10 以 及 遍历 性 的 假设 知 {1 一声 
>0, j=1,…,N} 是 X 的 唯一 的 平稳 分 布 。 于 是 

7 一 > mo 5 一 1, ,NN， 


t=] 


即 Tm 二 WP， 或 (1 一 P')rx 一 0。 (62) 
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其 中 #=[m,… ,zwJ。 式 (62) 表 明 # 是 P' 的 对 应 于 *=1 的 特征 向 量 。 又 因 |1 一 P' 1 一 | 一 
Pl=0, 所 以 4=1 也 是 P' 的 特征 值 , 若 记 4(1) 是 1 一 P' 中 第 ; 行 第 j 列 元 素 的 代数 余子 式 ， 
都 么 利用 行列 式 按 行 展开 的 拉 普 拉 斯 定理 可 得 


CT— P')L A 42(1)，…d4v(1)] = [0,0,.,0), (63) 
注意 到 式 〈62) 以 及 z 是 X 的 唯一 的 平稳 分 布 ， 故 
[mr ry 一 cL4a(1)，4a(1)，…4v(1) » (64) 


其 中 c 是 一 待定 常数 。4; (1) 是 1 一 P' 中 第 i 行 第 j 列 元 素 的 代数 余 于 式 , 也 就 是 1 一 P 中 
第 ; 行 第 i 列 元 素 的 代数 余子 式 , 即 4(1) 二 4;(1) ,又 根据 引 理 4 知 41(1)==4;(1),i,j=1， 
"No 将 它们 代入 式 《64) 多 
[zm ,2 ry 一 c[AnC1), AzsC1) ,Ayy C1)1 0 
既然 7# 是 概率 分 布 ， 那 么 
1 一 Sn = cd 4(1), c= 1/ 340), 
代入 前 式 即 得 式 (60) 。 天 由 zw 二 1/py，j 二 1，…，N 便 得 式 (61) ， 证 毕 。 
注 也 可 应 用 定理 11 中 的 公式 (44) ， 通 过 直接 求证 极限 5 ， 
im SVANRALTT G% — 1 = -A ， 
本 2 DY 401) 
同样 得 到 定理 13 的 结论 。 这 里 当然 要 求 特征 根 入 ,…，% 是 互 不 相同 的 。 至 于 特征 根 中 有 
重 根 的 情形 。 可 应 用 定理 12 得 到 下 面 的 结果 
定理 14 设 和 是 PP 的 vi 重 特征 根 ， l= 二 0， 1， A=NoTFNi 十 十 NN,， 车 加 二 1， 
wo 一 1， 耐 || 过 1， == 1 ， "1, 则 


17 一 1 (65) 


[7 — PJ 


(bn lim P 一 LP) 一 (66) 


oo CMA Pl 
TQ ~ 207 
{=1 
其 中 [1--Pj* 是 /一 P 的 伴随 矩阵 。 

(iD 车 4j() 关 0, 则 所 =1,i,j=1,…', 入 。 而 且 式 (61) 仍 成 立 , 即 

~ 

b= DAD AD jl 
若 入 二 1 为 No 重 根 ， 其 它 |%| 达 1， t=], "tt, 则 
1 和 [2 一 站] TD 
or ; a t (67 
Ciii) lim / TCDTT 下 war 册 67) 
t=1 
PRA) (Co 一 
(iv) 进而 设 _ 天 0, 则 
IE Ga 一 ” 


fi; = 


A(CA) No—1) PAj Ch) ND 
: 。 (68) 
TG = 0%],, [UI 0%),,, 
{t=1 =! 


定理 14 的 详细 证 明 参 看 文献 [18] ， 这 里 从 略 ， 仅 举例 说 明 这 些 公式 的 应 用 是 简明 有 
效 的 。 
例 2 设 有 限 齐 次 马 氏 链 的 状态 空间 为 1，2，3，14} ， 一 步 转移 概率 矩阵 为 
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0 0 
g ? 

? 0 1，4 一 1 一 2?。 69 
0 0 <ypy<1l,g 多 《69) 


OO 必 ON 
3 OO 


p g 0 
这 里 关 作 一 个 四 状态 的 圆周 随机 借 徊 。P 的 特征 方程 |X 一 P|=0 的 特征 根 是 入 = 二 1， 为 = 
一 1，h 二 VY 一 1(g 一 2), 和 及 = 二 一 VY 一 1(g 一 p), 互 不 相同 ,而且 
4 4 
[一 和 = 4 二 + 0), [CC— %) =— 4 + 9), 


2 me] 
2 


a 3 
TG -和 =4v 一 TI 一 的 ， [人 一 和) = 一 4V 一 TO 一。 
ml ml 


ist) 
再 计算 特征 矩阵 
和 N 一 ? 0 一 
一 《 hp 0 
0 —gyg % 一 ? 
一 ? 0 一 4 


中 各 元 素 的 代数 余子 式 。 得 


(CN) = (p+ 2), j= 1 
Ais(h) = (— 1)'+iti(py? + gq’), isj = 1 ,4 

Ai(h%) = (VO— D+!i(pt — q), j= 1 4 
Aji(h) 一 (V 一 1 一 天 (2 一 他 )， i,j = 14 


将 它们 代入 公式 (14) ,得 
二 = 二 Di + CD p) 
十 (Y 一 TD 一 (yz 一 作 裤 ， ?9 一 1 ，……，450 一 1，2，… 


例 3 设 有 限 齐 次 马 氏 链 X 的 状态 空间 是 (1,2,3,4}) ， 一 步 转移 概率 矩阵 及 其 特征 方 
程 为 


1 0 0 0 
0 1 0 0 

= ， | 一 Pl 一 44 一 D4 一 诗 |=0， 
1/3 2/3 0 2 
1/4 1/4 0 1/2 


故 ==1 是 二 重 根 ,入 ==0， 加 = 福 不 是 重 根 ， 试 求 fa， 这 时 要 用 定理 14 之 (iv) 中 的 式 
(68)。 因 为 


PA 
省 1 一 二 ] = (XO— N= 1 


MAis(h) 1 1 


reel = [#22—D) ,一 可 
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将 它们 代入 式 (68) 即 得 fs = 吉 。 再 应 用 定理 14 之 (ii 便 得 


lim py = 
RO 


1 ' 
4 D| 


2 一 环 | 


1 
人 CA 一 5) 


一 1 


| MAH) 下 


注 从 上 面 的 实例 可 以 看 出 ， 应 用 公式 (44)、(67)、(68) 等 进行 计算 ， 虽 然 直接 简捷 ， 
但 是 当 状态 的 个 数 Y 较 大 时 ,要 计算 六 阶 方 阵 的 特征 很 及 任 一 元 素 的 代数 余子 式 也 是 很 麻 
烦 的 ， 所 以 应 根据 具体 情况 ， 选 择 合适 的 方法 。 为 便于 从 方法 上 进行 比较 ,这 里 再 应 用 求 
- 解 线性 方程 组 的 方法 来 计算 /和 jy;， 完 整地 给 出 工 . 例 1 所 提出 的 著名 问题 的 解答 ， 

例 4 设 有 限 齐 次 马 氏 链 的 状态 空间 为 10,1,… ,2N), 其 一 步 转移 概率 矩阵 如 


I. (32) 式 所 给 


i 0 
gq 0 
P= a 
0 0 
0 0 


|， 0<z7y< id 一 1 一 ?。 
0 … 9 0 2? 
0 0 0 ] 


由 此 可 见 ,“0” 与 “2N” 是 两 个 吸收 状态 , 而 {1,…,2Y 一 1} 是 非 本 质 类 。 称 此 XX 作 具 有 
两 个 吸收 壁 的 随机 徘徊 。 试 求 首 达 概率 fw 与 fy, 以 及 从 状态 了 出 发 首次 到 达 0 或 2 的 平 


均 时 间 Nj, j=] 


9 2 一 1 。 因为 定理 5， 了 0 十 iay 一 工 Jj 一 1， 


…，2N 一 1。 所 以 只 需求 


fn j= 二 1 ，…，2N 一 1]。 显 然 fw 一 1，fzvwo 二 0。 根据 五 .定理 14 之 0)， 只 要 求 下 列 线性 方 


程 组 的 最 小 非 负 解 : 


1 二 ?zz 十 2 


所 
入 
22V-1 一 022V 一 2 


一 2ai+L 十 821-1， JJ 一 2 2Y 一 2 (70) 


如 果 定 义 20 一 1(=f00) ‘ay = 0(= fy) 则 线性 方程 组 C70) 可 统一 地 写成 : 


划一 pzit! 十 92 5 了 一 1 2v 一 1。 (71) 
由 此 得 
D241 2) 一 0 一 2 5 一 1 一 1 
‘Jj 
Zt [了 | 《2 一 太 -1) = 一 [人 {zi 一 20)， 
i 。 
zi+1 一 ] 一 > 二] (2 一)， 了 7 一 1] 2Y 一 让。 (72) 
v= 人 0 ' 
由 zy 一 0 及 式 (72) 得 
2 Ye 
1 ss/ 2 (73) 
| /2 7 | 
由 式 (73) 与 式 (72) 即 得 : 对 任何 ;==1,，*…，2N 一 1， 
1 ~— 0G/2N), 当 p 一 g 一 1/2， 
fn = = (gp — Cp C74) 
DT 当 ? 天 人。 


为 求 语 ， 和 1 … 


，2Y--1， 根 据 焉 . 定理 17 只 需求 下 列 线性 方程 组 的 最 小 非 负 解 ， 


MT 
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2 二 p22 十 1， 
zj 二 gzj-!1 十 pzj4!1 十 1， j= 2,"…,2N 一 2 (75) 
2x-1 一 qzzy-2 十 1。 


令 zw 二 zzx 一 0， 方程 组 (75) 可 统一 地 写成 


2 一 42-1 十 22zi+l 十 1， 了 7 一 1 和 2V 一 1 (76) 

或 D241 — 21) 一 45 ~— 41) 一 1 了 7 一 1…2V 一 1。 (77) 
记 r=qg/p，、 当 yp 关 9， 即 7? 关 1 时 ， 由 式 (77) 得 
RiA1L 一 0 一 r(z -一 zj—1) 一 工 = ，，。 


一 Ji(2 一 2) 一 [十 … 十 时 


， 07 一 1 . 
一 ra 一 a 十 一 1， = le,2N 1, 
pg 
j 1 i 
Zi+1 一 2 一 Zr 一 20) 十 7 一 于 2 一 让 ， 
riti— 1 1 friti—r , . 
st1 = 了 一 了 “+5=| 7 一， i 人 


7 一 1 2 一 4L7 一 1 
-1 Tv D7 一 1 六 一 
从 而 a 一 ND | 
1 ,， ?一 
一 2s PN 1 一 1]， 
_ ri—1l1 1 fm 一 ? ， 
刻 盖 二 二 一 + ls T (7 D | 
1 ,7i—1 , ， | 
-二 [2* 与 二 1 一直， j=1,.",2NC—1。 (79) 
1 、 
当 ?一 9 一 可 ， 即 7 一 1 时 ， 经 过 类 似 地 推算 ， 有 
51 一 丰 一 (zi 一 2 一 2 一 一 (一 20) 一 2 JJ 一 1，2Y 一 1 
z+41 二 《十 1)z1 一 jj 十 1)， 7 一 0 2NV 一 1 


0 = zy = 2Nz1 — 2N (2N — 1),， 
从 而 , 24=2N 一 1, 且 
w=2= ja jj—1)=j2N 1)— ji—1) 
= j(2N — DN), j= 1 ,2N—1 C80) 
即使 在 较 大 时 ， 式 (74)、(79)、(80) 都 是 容易 计算 的 。 


3. 常 返 性 、 周 期 性 与 状态 空间 分 解 的 代数 处 理 
为 了 建立 状态 常 返 性 的 另 一 种 判别 准则 ， 现 在 利用 式 (24).(25) 所 表示 的 特征 多 项 式 
2() ,四 (7 来 给 出 数列 (38 ,一 0,1,…} 的 母 函 数 户 (2 全 24z92z(|z|<1) 的 明显 表达 式 。 由 
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凯 莱 -哈密 顿 定理 知 ， 
0 = 9B(P) = PY — APT! + dP 二 (1)*Ayl, 


从 而 
PY = APT AP 1 "IA, (81) 
用 疡 滋 式 (81) 两 边 各 项 ， 并 比较 其 边 的 第 i 行 第 i 列 元 素 有 
p+ = 4PUty-D 一 4pPery-5 TC 1)> -4vpe)， 1 一 01， (82) 
再 以 zf+* 滋 式 (82) 两 边 各 项 ， 并 对 从 0 到 cc 相 加 ， 便 得 
pa(2) 一 [各 十 了 十 十] 
一 Az[Pi(2) 一 〈3 十 Fz 二 二 p22 )] 
— hz (Pil) — Cp 十 pz 二 十 pV 3)] 
十 … 十 (一 DYri4veyPi(z)， 


故 Pi(z)[1 一 4z 十 4 一 … 十 (一 1)4vc] 
2 一 1 N—i—k 
= 2{— Dd 和 ， zz2)]。 
上 一 0 jm0 


一 Bazs+t Bua C— + (~ DBy BD.(1/z) 


Pi(z) = l 


] 一 Ai: 二 42 一 一 十 (一 1)VAyz” 一 (1/a). (83) 
定理 1559 如 果 4=1 分别 依 次 是 B( 和 )=0 及 (和 )=0 的 4 重生 重 根 ， 则 i 为 常 返 


状态 的 充 要 条 件 是 >h。 
证 据 !， 定理 13 之 Gi) 状态 i 为 常 返 的 充 要 条 件 是 和 29? 发 散 ,， 即 Ps (1) 一 co。 
令 


Ba) = BAL/ I BO) 一 CLAN 一作 


那么 名 (1/2) 与 BG(1/z) 中 都 不 再 含有 (1/z 一 1 的 因 式 , 从 而 , 当 2 一 1 时 ,< 一 一 将 趋 于 非 
$B(1/2) 
零 常数 ， 
oo, k 之 上， 
EE 
~ Ee 
b > %。 
于 是 由 式 (83) ， 
B01/2) 
P,(2) = 2 PKL 一 xz 一 -一 一 (1/2 一 ] 5 一 
B01/2) G01/s) 


由 此 可 见 P,(1) 二 oo 的 苍 要 条 件 是 >， 定理 得 证 。 

由 定理 15 及 引 理 3 即 得 下 面 的 推论 ， 

推论 ”对 状态 i;， 如 果 %=1 不 是 B( 和 )=0 的 根 ， 则 i 必 为 常 返 状态 。 

我 们 还 可 借助 代数 工具 从 另 一 个 角度 来 考察 状态 空间 的 分 解 与 状态 的 周期 性 。 

定理 16 有 限 齐 次 马 氏 链 的 转移 概率 矩阵 了 = [pj] 的 特征 值 1 的 几何 重 数 等 于 X 
的 状态 空间 5S={1,… ,入 } 中 不 可 分 闭 子 集 的 个 数 。 
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证 根据 1. 定理 36 即 状态 空间 8 分 解 定理 ， 将 状态 适当 改编 序 导 ， 转 移 概 率 矩 降 
可 改写 成 如 下 分 块 矩阵 形式 ， 


La， Ry BR 

其 中 每 个 PGi=1,…,m) 对 应 于 8 分 解 中 的 一 个 全 由 正常 返 状 态 构成 的 不 可 分 财 子 集 C， 
CG; 含有 人 入 ;个 状态 .8 对 应 着 8 分解 中 所 有 非常 返 状态 梅 成 的 子 集 。 由 工 . 定理 31 及 本 章 的 
引 理 3、 引 理 2 必 存 在 对 应 于 P 的 特征 值 1 的 ( 左 ) 特征 向 量 X= [0，…，0，zP， 区 
0,，…，0], 使 XP 二 X, i 二 1，…，m。 在 每 个 X: 中 相应 于 0; 的 坐标 向 量 [Lz ，… 2 雪 ] 
非 零 ， 其 余 的 坐标 元 素 红 为 零 。 又 因 C1,，…，C。 是 互 不 相交 的 ， 所 以 X,，…，X。 是 线性 
无 关 的 ， 依 几何 重 数 的 定义 知 : 特征 值 1 的 几何 重 数 大 于 或 等 于 mw， 即 不 小 于 mm。 

反之 , 再 证 P 的 特征 值 ! 的 几何 重 数 不 大 于 m。 为 此 , 只 要 证 明 : 对 应 于 特征 值 ] 的 任 
何 一 个 左 特征 向 量 Y, 即 YP=Y， 此 Y 总 能 表 成 X， i=1，"…， 多 的 线性 组 合肥 可 。 反复 应 
用 式 YP=Y 以 及 归纳 法 知 : 对 任意 的 正 整 数 "， 都 有 YP"==Y， 若 记 Y 了 =[y，… ,yxj， 


则 之 /gz 外 一 六 Ij 二 1，…， 襄 ， 一 1,2，…。 如 果 状态 j 是 非常 返 的 , 由 开 , 定理 1 可 推 知 
纺 一 0， 于 是 了 YP= 了 了 可 改写 成 
2) > pw = Ys jE€ Uc 


如 果 状 态 £，j 分 别 属 于 不 同 的 不 可 分 闭 子 集 ， 则 p= 二 0， 于 是 上 式 又 可 改写 成 
2 ps =y, jEC, i= 1 ,Mm (84) 


若 将 六 限制 在 C: 上 考虑 , 则 便 是 一 个 不 可 分 的 所 有 状态 都 是 正常 返 的 有 限 齐 次 马 氏 链 。 在 
不 计 常数 因子 的 前 提 下 ， 对 每 个 i=1，…，m， 

2 yep = Yj, JE ”C85) 
都 有 唯一 解 。 从 而 得 到 Y= ar, kEC,, Us, 是 某 常 数 ， 一 1， “0 > 即 Y= ZX 定理 证 


之 
TDo 


定理 17 设 忆 是 不 可 分 有 周期 的 有 人 银 齐 次 马 氏 链 的 转移 概率 矩阵 , 则 次 单位 根 
都 是 P 的 特征 值 。 进而 , 这 些 特征 值 中 的 每 一 个 的 几何 重 数 为 !, 并 且 再 没有 其 它 模 为 1 的 
特征 值 。 

定理 17 的 详细 证 明 可 参阅 文献 [12] ， 这 里 不 作 论 述 。 

定理 18 设 忆 是 有 限 齐 次 马 氏 链 X 的 转移 慨 率 抢 阵 ,时 任何 一 个 模 为 1 的 忆 的 特征 值 
是 一 个 单位 根 。d 次 单位 根 为 己 的 特征 值 的 充 要 条 件 是 P 有 一 个 六 期 为 4 的 常 返 状 态 类 。 每 
个 上 次 单位 根 的 几何 重 数 恰 好 是 周期 为 4 的 常 返 状 态 类 的 个 数 。 

证 因为 MX 一 SP, 所 以 MX 一 2 一 2CXPD) 一 (MX)P 一 (X2)P= 一 AP。 由 归纳 法 ， 对 任 
何 正 整数 a 有 


y 
XX= XP, 或 Wz; = Dl np, j= 1]. ,NY, C86) 


和 一】 
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如 果 状 态 ; 是 非常 返 的 ， 应 用 下 . 定理 1， 并 注意 到 |*| = 二 1， 在 式 (86) 的 两 边 ， 令 woo， 
便 得 一 0。 所 以 我 们 可 以 仅 局 限 在 3 的 不 可 分 闭 子 集 上 讨论 , 并 将 前 面 的 定理 分 别 应 用 到 
每 个 不 可 分 闭 子 集 上 ， 便 可 证 得 本 定理 。 


3 计算 大 马尔 科 夫 链 的 平稳 分 布 的 聚集 状态 法 


对 一 个 用 有 限 齐 次 马 氏 链 X= {X,,x==0,1,…}) 来 刻 兽 其 统计 特性 的 实际 系统 ， 为 了 探 
讨 它 的 稳定 性 能 , 需要 建立 各 种 方法 来 计算 X 的 平稳 分 布 [中 ,然而 当 它 是 一 个 状态 个 数 相 
当 多 的 大 系统 时 ， 计 算是 十 分 复杂 的 ， 为 了 克服 这 一 困难 ， 一 种 行 之 有 效 的 办 法 是 将 该 系 
统 的 全 部 状态 按照 一 定 的 规则 进行 划分 ， 聚 集 为 较 少 的 几 个 超 状 态 ， 把 大 马尔 科 夫 系统 分 
解 成 若干 个 较 小 的 马尔 科 夫 系统 来 计算 的 单一 输入 超 状态 分 解 方法 5 。 本 节 将 对 这 种 在 理 
论 与 实际 应 用 上 都 具有 较 高 价值 的 方法 作 一 介绍 。 

定义 设 X 的 状态 空间 为 8S={1,…, 入 },S 的 每 个 真子 集 都 称 为 X 的 一 个 超 状 态 
(Superstate) 。 而 XX 的 单一 输入 超 状 态 (Single input superstate) 是 具有 如 下 性 质 的 一 个 X 的 
超 状态 , 它 只 含有 唯一 的 一 个 这 样 的 状态 , 从 不 包含 在 此 超 状态 中 的 其 它 任 一 状态 出 发 , 转 
移 到 此 超 状态 中 时 ,只 有 转移 到 该 状态 的 一 步 转移 概率 才 可 能 是 正 的 。 于 是 , 若 状 态 集 8 一 
(1，…，M) (MZN) 是 一 个 具有 单一 输入 状态 1 的 单一 输入 超 状态 , 则 对 所 有 jE 5 一 及 
iEB 一 {(1}， 都 有 一 步 转移 概率 px 二 0。 | 

依照 单一 输入 超 状 态 的 定义 , 由 单个 状态 构成 的 超 状态 , 总 可 看 作 是 单一 输入 超 状态 ， 
然而 这 是 一 种 平凡 的 情形 ,无 实际 意义 ， 不 予 考 虑 ， 因 此 作 如 下 规定 : 

(4) 每 个 单一 输入 超 状态 至 少 含 有 2 个 状态 。 

以 P= [za] 为 一 步 转移 概率 矩阵 的 有 限 齐 次 马 氏 链 X 的 状态 空间 8 若 能 分 解 成 2 个 以 
上 的 互 不 相交 的 单一 输入 超 状 态 之 并 ， 则 称 此 X 是 单一 输入 超 状 态 可 分 解 的 马 氏 链 。 为 简 
便 起 见 ， 我 们 可 在 8 上 定义 一 等 价 关系 如 下 : 如 果 状 态 i 与 属于 同一 个 超 状 态 ， 则 称 ; 与 
5 等 价 ， 记 作 ~~;j。 于 是 ,对 单一 输入 超 状态 可 分 解 马 氏 链 的 状态 +、i、# 六 有 著 地 ji~ 
刀 ri pi>0, Fj7,， 则 psy=0。 

对 单一 输入 超 状 态 可 分 解 的 马 氏 链 X 的 全 部 为 个 状态 , 只 要 适当 地 重新 改变 状态 的 编 
号 , 那么 X 的 原来 的 转移 概率 矩阵 P 最 多 经 过 六 一 1 次 行 对 换 与 N 一 1 次 列 对 换 就 可 相应 
地 化 成 下 列 规范 的 分 块 矩 阵 的 形式 : 

A 0 ,050 Bs we Be 


0 A2 0 : Da B22 也 zw 
A B 0 0 ee 4: Bs Bs woe Bm 
P= | |= ee be (87) 
CC DD Cl 0 se 0 : Di Diz M 城 击 Din 
0 CC, 0 :Ds D2 D2 


0 0 wid Ch : Dal D2 “oe. Dm 
其 中 四 表示 8 中 的 全 部 Y 个 状态 被 划分 成 mw 个 互 不 相交 的 单一 输入 超 状态 8,，52，…，5。 
之 并 。 对 任 一 j; j==1，，…, m， 如 果 单 一 输入 超 状 态 5; 恰 含 及 V; 个 状态 ,那么 4; 是 (Nj 一 
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1)X(CV 一 1) 方 阵 ,C 是 1X(CN 一 1) 抢 阵 ， 又 对 任何 1 一 1 ,m,Bj 是 (Ni 一 1)X1 矩阵， 
Ds 是 1x1 矩阵。 在 式 (87) 中 新 编 序 导 为 N 一 mw 十 jj 二 1，… ,1m) 的 状态 就 是 含 在 单一 输入 
超 状 态 5; 中 的 那个 唯一 的 单一 输入 状态 , 而 每 个 4;(j 二 1,…,m) 就 是 除去 新 编 序号 为 NN 一 
人 h 十 /的 单一 输入 状态 之 外 , 在 单一 输入 超 状 态 5; 内 , 其它 所 有 状态 之 间 的 一 步 转移 概率 方 
阵 。C; 是 从 新 编 序 号 为 N 十 m 十 ;的 单一 输入 状态 到 单一 输入 超 状 态 & 中 其 它 状态 的 一 步 
转移 概率 行 向 量 。 容 易 理 解 ， 对 i，j 二 1，…，m，i 关 j，B; 与 Dy 所 表示 的 是 mw 个 单一 输入 
超 状 态 8 ，…，So。 之 闻 的 一 步 转移 概率 ， 太 与 ,中 的 元 素 可 以 都 是 非 零 即 正 的 。 

例 5 设 有 限 齐 次 马 氏 链 X 的 状态 空间 为 {1，2,，…，9), 一 步 转移 概率 矩阵 了 如下; 

1 2 3 4 5 6 7 8 9 


1[0.3 0.2: ;0.53 0 
2|o0 0 :0.7 10.3 
I ee 
4 1 0: 0 
i 38) 
6 : :1 0; : i 
ES 
罗 i 
| 二 


式 (88) 右 方 矩 阵 中 空白 处 的 元 素 皆 为 零 . 此 X 是 单一 输入 超 状态 可 分 解 的 马 氏 链 。 具 体 的 
分 解 形式 参见 图 3: 


3 单一 输入 超 状 态 分 解 之 一 


图 3 不 仅 形象 地 表现 了 X 的 所 有 状态 之 间 相 互 转移 的 统计 规则 , 而 且 指 明了 全 部 状态 被 划 
分 成 3 个 单一 输入 超 状态 :8S:= (1,2,7},S: 一 (3,4,8}1 8: 一 (5,6,9}， 其 中 状态 7，8，9 分 
别 依次 是 S,、S,、5s 中 的 单一 输入 状态 。 

现在 就 来 给 出 单一 输入 超 状态 可 分 解 大 马 氏 链 平稳 分 布 的 具体 算法 ,以 及 它 的 思路 、 步 
又 与 论证 。 

设 X 是 单一 输入 超 状态 可 分 解 马 氏 链 , X 不 可 分 , 其 状态 空间 5 二 (1,… ,入 ), 转 移 概 率 
矩阵 忆 已 写成 如 式 (87) 所 示 的 规范 形式 ,以 z= [mm ，…，m] 表示 的 平稳 分 布 。S 已 被 
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划分 成 mn 个 单一 输入 超 状 态 Sr, 7 二 |， 及 的 不 交 之 并 。 每 个 Sr 含有 N, 个 状态 ， 7 一 1， 

第 一 步 , 首先 对 每 个 超 状态 S， (r= 二 1，…，m)， 我 们 更 改 所 有 离开 此 & 的 转移 , 将 它 
们 都 变 为 返回 到 &. 中 单一 输入 状态 的 转移 , 即 由 式 (87) 在 每 个 超 状态 5, 内 都 定义 了 一 个 
新 的 N.X N, 转移 概率 怎 阵 


A 2 Bn 
Pp. = | 7 一 |， (89) 


CO, 3 Dy 


这 相当 于 在 每 个 5, 内 新 定义 了 一 个 小 (>, 个 状态 ) 马 氏 链 , 记忆 的 平稳 分 布 是 [Gm]， 
7 二 1，…， 吉 ， 办 -对 应 于 & 中 的 单一 输入 状态 ， 办 对 应 于 & 中 其 余 的 ,一 1 个 状态 。 

第 二 步 ， 其 次 将 每 个 超 状态 看 作 一 个 “状态 "， 通 过 对 前 面 所 得 的 平稳 分 布 [$,，,j， 
7 二 1,… ,Mm 进行 适当 加 权 的 办 法 , 可 以 构造 出 在 这 ww 个 “状态 ”( 即 超 状 态 ) 之 闻 的 mnXw 转 
移 概率 矩阵 了 = [yj， 


$B;; 十 由 Do 1 入 j， 
及 一 aa 1 一 1 (90) 
1 一 >) ($B, 十 $iDi ? == 了 了， 
r=i 


r 奖 j 
因为 每 个 [6 ,加 ] 是 概率 分 布 , 以 及 式 (87), 易 验证 式 (90) 确 定 的 P=[s] 是 一 随机 矩阵 。 
这 相当 于 把 每 个 超 状 态 当 作 一 个 “状态 ”后 而 产生 的 一 个 芭 个 “状态 ”的 马 氏 链 , 记 f= [th， 
…，7。] 是 了 的 平稳 分 布 。 

第 三 步 , 将 所 有 相应 于 超 状 态 内 的 平稳 分 布 [6, 加] 与 相应 于 超 状态 之 间 的 平稳 分 布 
[i ] 作 “ 积 ”, 即 gs 寅 py  T 元 %，…， 加 mg]， 便 是 原 马 氏 
链 X 或 P 的 平稳 分 布 。 下 面 的 定理 将 对 此 作出 严格 的 证 明 。 

定理 19 设 X 是 不 可 分 齐 次 的 单一 输入 超 状 态 可 分 解 马 氏 链 , 其 状态 空间 8= {1,…， 
和 N} 已 被 划分 为 mx 个 单一 输入 超 状 态 8 ，r=1，…， 由 的 不 交 并 ,总 含 个 状态 ， 又 转移 
概率 矩阵 P 已 表示 成 式 (87) 的 规范 形式 。 如 果 记 的 平稳 分 布 为 += [ri mm，…，mr]， 
沿用 前 面 已 给 的 符号 ， 则 

= [mm Ty ] 
一 [7 $s Tapas ee Tape TL pi Ta p22 Tapinm | 《91) 

证 首先 指出 : 因为 X 是 不 可 分 的 有限 齐 次 马 氏 链 , 所 以 由 定理 7 或 亚 , 定理 11 之 推 
论 知 式 必 有 唯一 的 平稳 分 布 z 王 [mr ，z2，"*，xry]。 

车 记 


,> 7 一 ]1， 
,二 7 一 7 一 rl 
[DG m0+r1i= > 一 0 一 站 十 1 一 2 一 7? 十 2，7 一 2 
9 一 g=1 


4 一 1 


(92) 
由 式 (87), 第 7 个 超 状 态 Sy = (7= 1, ,WW) 是 由 编 序 号 为 ry 5 十 ] "ys 十 入 :一 2 及 NN 一 1 十 
7 的 Y, 个 状态 所 构成 。 
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又 人 
力 一 [rm mt my 2 pr = Nyt ?= 1 ,Mm (93) 
为 证 本 定理 ， 只 要 证 得 下 式 即 可 : 
[$b] = tp] 7 = 1], ,ho (94) 


因为 [办 ,#] 是 疡 的 平稳 分 布 ,以 及 平稳 分 布 的 定义 ,应 有 [各 ,grjBr 一 [8r,$rr] ,7 二 1， 
到， 故 


办 4 十 办 已 一 内 ， 7 一 (95) 
对 原 马 氏 链 羡 而 言 ， 因 为 5 是 P 的 平稳 分 布 ， 所 以 应 有 
pA 十 prrCr 一 办， 7 一 1710 (96) 


又 因为 假设 X 是 不 可 分 的 ， 即 5 中 的 任 一 状态 子 集 部 不 可 能 构成 闭 集 ， 所 以 /一 4 是 非 奇 
异 的 ， 于 是 从 式 (95)、(96) 可 得 

br = fr! CO— A)!, 7 一] iN, (97) 

六 二 Cr! — A)!', 7 = 二] (98) 
值得 注意 的 是 加 关 0 (一 1，…，m)， 倘 若 如 一 0, 由 式 (97) 得 加 为 入 ,一 1 维 的 零 向 量 , 即 
[加 ,各 为 零 疝 量 , 这 与 [四 ,加 ] 是 平稳 分 布 孙 盾 ， 故 如 天 0，? 一 1，…，。 从 而 可 令 a 二 
Br/ 7 二 1]，'…*，m， 由 此 及 式 (97)、(98) 便 得 

[¥, ,prj 一 cr[L 和 办]， ?= ,ny ‘(99) 
为 了 完成 本 定理 的 证 明 ， 比 较 式 (94) 与 (99) ， 只 需 再 证 w 一元， 一 1，…， 囚 ， 就 是 够 了 

依照 式 (93) 及 假设 ，[ 各， 二 xy] 是 X 的 或 P 的 平 

稳 分 布 ， 并 应 用 式 (99) 便 有 


pr 一 > [pr 十 YaDe], 7 = ] ns 
wp = SabBe + ababDel, 了 一 1 (100) 
既然 [% ,tr] 是 户 的 平稳 分 布 ， 那么 也 有 
各 一 箔 了 Bs 十 各) Ds 7 一 1 ,mn C101) 
将 式 (101 代入 式 (100) 的 左 方 ， 并 抵消 等 式 两 边 4 一 " 的 相同 项 ， 可 得 
alh So 十 和 > ou]= > [again 十 guDr]，7 一 1 ,mo (102) 
全 二 和， 


根据 的 定义 式 (90), 式 (102) 的 左 方 为 “2 和 (1 一 和 ,起 (102) 的 右 方 为 2 wj, 代 
yr . gr 
入 式 (102) 得 
G 二 Grp 十 了 > ab 一 > arp 7 一 1 

即 [ae [oa]z。 (103) 
因为 对 任何 ?=1，…，m，W、 和 都 非 负 ， 从 而 a 非 负 。 

对 任何 *=1，…， mm， 若 记 。 为 元 素 都 是 1 的 N, 维 列 向 量 ， 因 [加 ,和 是 一 平稳 分 布 ， 

故 [种 ,加 je 一 1, 从 而 由 式 (99) 得 
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> ,ar 二 > a Lp, Je, 一 DCs ,pr Je, 


一 Sn 二 |1。 

综 上 所 述 ，[aw，…，m] 是 天 的 平稳 分 布 。 

因为 X 不 可 分 ,S 中 任何 两 个 状态 互通 ,所 以 {5,,7= 二 1,…,m} 中 任何 两 个 单一 输入 超 状 
态 之 间 也 互通 ， 由 此 可 见 关 有 唯一 的 平稳 分 布 ， 既 然 唯一 ， 那 么 = 而 ,r+ 二 1，*…, 4。 定 
理 证 完 。 

定理 19 的 意义 在 于 通过 对 mm 十 1 个 相应 于 户 ,，r* 王 1，…，m， 无 的 小 马 氏 链 平稳 分 布 的 
简便 计算 , 求 得 了 相应 于 P 的 大 马 氏 链 的 平稳 分 布 。 回避 了 因 “ 大 ”而 带 来 的 困难 , 起 到 了 
化 整 为 零 的 作用 。 1 

一 般 说 来 ， 当 不 可 分 有 限 齐 次 马 氏 链 工 的 状态 空间 8 划分 成 mw 个 超 状 态 的 不 交 之 并 
时 , 这 一 划分 未 必 是 单一 输入 超 状 态 分 解 。 即 未 必 能 满足 定理 19 的 假设 条 件 。 为 了 对 一 般 
的 不 可 分 有 限 齐 次 马 氏 链 X 都 能 运用 定理 19, 试图 通过 扩大 状态 空间 的 方法 , 按照 一 定 方 
式 构 造 出 一 个 单一 输入 超 状 态 可 分 解 的 马 氏 链 Y， 使 得 7 的 平稳 分 布 中 已 隐 含 有 原 马 氏 链 
X 的 平稳 分 布 ， 对 了 可 使 用 定理 19 算得 平稳 分 布 ， 从 而 达到 了 求 原 链 X 的 平稳 分 布 的 目 
的 。 下 面 的 定理 实现 了 上 述 意图 。 

定理 20 设 X 是 不 可 分 有 限 齐 次 马 氏 链 ,X 的 状态 空间 $= 《41," ,入 } 已 被 划分 为 m 个 
超 状 态 5 ，，…，5, 的 不 交 之 并 。 对 ?= 二 1 讽 ，5 二 《十 1 十 六 :一 1} ,其 中 局 由 式 
(92) 所 定义 。X 的 转移 概率 矩阵 为 P= [z 门 ,其 唯一 的 平稳 分 布 记 作 x 二 [zw ,… ,mxj。 现 在 
构造 YXxN 和 矩阵 4= [站 ], 六 Xm 矩阵 8=[5;], mXNN 和 矩阵 C= 二 Leyj 如 下 : 
对 i, jES= (1，…，N)， 


(全 当 i 一 5 了 即 * 与 了 7 属于 同一 个 超 状 态 ， 
0 一 ， 。 (104) 
0， 当 i jo 
对 iES,IE (Nl ,N+m}, 
0， 当 i E€ Sj_y, 05 
.一 1 
和 | >， 2ir， 当 i Sj-y。 ( ) 
TES wy 
对 iE{N 二 1 Nn}, jES, 
a 
| >》) mipbr 
1I& Ss. 
OO ) Siy, 
Ci 一 >) >») Nibir 当 7 € (106) 
ji Si_y 
0 当 j EE S-vw。 
又 作 (N 十 m) X CN 十 mm) 矩阵 
_ rf4 8B | 
P= | |. (107) 
© 0 
再 令 bo 一 > > Nibir, 2 一 只 十 ly NY 十 MN, (108) 


rESi nw GES) 


n° = [rr ， R= [Tx]) (109) 
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则 元 一 NAP, 《110) 

注 从 上 面 的 构造 式 (104) 一 (107) 容易 验证 P 是 随机 矩阵 , 并 可 看 出 P 对 应 于 一 个 有 
入 十 zw 个 状态 (1，…，X，N 十 1，…， 十 mm) 的 单一 输入 超 状 态 可 分 解 的 马 氏 链 Y， 它 是 
对 原 马 氏 链 的 每 个 超 状 态 5S, (r= 二 1，…, in) 添 入 一 个 单一 输入 状态 NN 十 7 而 构成 。 和 矩阵 
4 表示 在 原 链 和 的 每 个 超 状 态 内 的 转移 概率 规律 仍 保持 不 变 。 和 矩阵 巨 反映 了 转移 出 原 超 状 
态 的 概率 规律 。 和 矩阵 C 反映 的 是 从 添 入 的 单一 输入 状态 到 原 超 状 态 的 转移 规律 。 定理 20 给 
出 了 相应 于 2 的 7 与 P 的 平稳 分 布 # 之 间 的 隐 合 结构 关系 。 

证 首先 证 

[< |= [rms |= [rr ， G10 

对 任何 ?一 1，…，XN， 由 式 (104)、(108)、(106)， 


[a EA ,T+n La, Savjo Nt" CN+ mj 


和 

= > moo 十 > ( 2 mpy) 
《上 
~j 


Nt 5 


Bj 
1 

一 > mp 十 > ,py 一 > Dy 一 Ti  。 
tm Im1 l=] 
~j ti 


式 (111) 得 证 .其 次 由 式 (105)、(108) ， 
_「 B 
和 |= [ns | 


0 
= [Dr 家 
&s, i 
三 [gt “ ,Attn ]。 (112) 


综合 式 (111) 与 (112) 便 得 式 (110) ， 定 理 证 完 。 
需要 指出 的 是 ， 若 记 f= [NA ,Ny My ,Nytm], 
一 Mm 当 4 一 1 
Ni 二 
Ni 当 ?一 入 十 1，…V 十 mm。 


因 [m，…，mw] 是 概率 分 布 ， 所 以 2 元 未 必 等 于 1。 反 之 ， 如 果 利用 定理 19 求 得 了 的 平 


稳 分 布 7= [元 ，…， 元 1m]， 那 么 么 2 =1，, i 未 必 等 于 1， 这 乔 应 


[a Sz, …， 吉 /元 ] 为 原 马 氏 链 的 平稳 分 布 ， 


D 应 用 定理 19 和 定理 20 进行 计算 的 实例 ， 以 及 有 关 算 法 和 计算 次 数 的 讨论 避 参 看 文献 
[24], 

最 后 再 提出 几 个 与 聚集 状态 法 有 关 的 问题 ， 并 列举 出 若干 初步 的 研究 结果 ， 它 们 的 证 
明 可 见 f23]。 

试问 : 任何 单一 输入 超 状态 可 分 解 马 氏 链 的 分 解 方式 是 否 唯一 ? 回忆 例 5 及 图 3, 现在 
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不 改变 图 3 所 示 的 状态 转移 的 概率 结构 ， 只 把 原 编号 为 2、7、9 的 状态 重新 分 别 依次 改换 


图 4 单一 输入 超 状 态 分 解 之 二 

编号 为 9、2、7， 其 余 的 状态 编号 保持 不 变 ， 这 样 就 得 到 了 状态 转移 概率 图 1. 在 图 4 中 ,9 
个 状态 被 分 解 成 2 个 单一 输入 超 状 态 , & = (1，2，3，4，8})， 品 一 (45，6，7，9} 的 不 交 
并 , 编号 为 8、9 的 状态 分 别 依次 是 $1、Sz 中 的 单一 输入 状态 。 由 此 可 见 ， 单 一 输入 超 状态 
可 分 解 马 氏 链 的 分 解 方式 一 般 是 不 唯一 的 。 那 么 , 附加 上 什么 条 件 可 使 分 解 是 唯一 的 呢 ? 为 
此 下 面 给 出 条 件 (8) 及 相应 的 结论 。 

(CB) 对 单一 输入 超 状态 可 分 解 的 马 氏 链 ， 在 它 的 每 个 单一 输入 超 状 态 中 ， 从 唯一 的 单 
一 输入 状态 出 发 ， 到 此 超 状 态 中 其 它 各 个 状态 的 一 步 转移 概率 皆 为 正 值 。 

定理 21 ”对 任何 单一 输入 超 状态 可 分 解 马 氏 链 ， 在 条 件 (4)、(D) 之 下 ， 则 

(i) 任何 两 个 单一 输入 超 状态 不 可 能 合并 为 一 个 单一 输入 超 状态 。 

《ii) 任何 一 个 单一 输入 超 状态 不 可 能 分 解 成 两 个 以 上 的 单一 输入 超 状 态 的 不 交 并 。 

定理 22 ”对 任何 单一 输入 超 状态 可 分 解 马 氏 链 , 它 的 状态 空间 8 含有 个 状态 ,并 被 
分 解 为 x 个 单一 输入 超 状 态 8 ，…，&u 的 不 交 并 , 每 个 & 含有 个 状态 ，7 一 1，…，7， 
在 条 件 (4),《B) 以 及 和 一 和 ax ,>2m 之 下 ， 对 任何 超 状 态 S3 CS， 如 有 9g，7 ( 王 1，…， 
mw)，4 关 7”， 使 得 S 站 5, 关 入 且 S$ 人间 5. 关 入， 则 此 SS” 不 可 能 是 单一 输入 超 状态 。 

定理 21 与 定理 22 给 出 了 单一 输入 起 状态 可 分 解 马 氏 链 分 解 叭 一 的 充分 条 件 ， 这些 条 
件 不 仅 显 得 自然 ,而且 在 实际 问题 中 党 能 满足 。 

试问 :对 已 给 的 有 限 齐 次 马 氏 键 X ,如何 判 断 它 能 否 直接 作 单一 输入 超 状 态 分 解 ?为 此 ， 
初步 地 建立 了 可 用 来 判别 的 不 等 式 ; 以 4 记 转 移 概率 矩阵 中 非 零 元 素 的 个 数 ， 记 4 二 
in N,, W= max N\,, 其 它 全 都 沿用 前 面 已 给 的 符号 。 如 果 是 单 -- 输 入 超 状 态 可 分 解 的 ， 
则 

412 一 (YY 十 人 外 人 十 7 十 六 一 和 二 10， (113) 


2 
AN — 4CN + a)m + NE + | 2 0， C114) 
到 


即 式 (113) 114) 是 单一 输入 超 状 态 可 分 解 马 氏 链 的 参数 N、mx、n、w、W 必须 满足 的 关系 
式 。 一旦 式 (113) 或 (11) 不 成 立 ， 即 可 断言 此 马 色 链 是 不 能 作 单 一 输入 超 状态 分 解 的 。 
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既然 单一 输入 超 状态 可 分 解 马 氏 链 的 分 解 方式 不 唯一 ， 那 就 应 当 择优 选取 其 中 的 一 种 
方式 。 为 此 ， 首 先 必 须 建 立 衡 量 分 解 优 劣 的 标准 ， 是 以 上 机 计算 平稳 分 布 编程 难 易 ， 所 费 
机 时 多 少 ， 计 算 快慢 为 准则 呢 ? 或 是 男 有 其 它 更 便于 使 用 的 有 意义 的 准则 呢 ? 在 确定 的 标 
准 下 ,分解 成 几 个 单一 输入 超 状 态 为 宜 ? 每 个 单一 输入 超 状 态 含有 多 少 个 状态 为 宜 ? 分 解 
中 状态 之 间 按 什么 方式 搭配 为 宜 ? 此 外 ， 还 需要 创立 更 精细 更 有 效 的 方法 去 鉴别 怎样 的 马 
氏 链 才能 作 单一 输入 超 状 态 分 解 ， 这 一 系列 问题 都 有 待 继续 深入 探讨 。 
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在 实践 中 所 遇 到 的 马尔 科 夫 随机 系统 ， 它 的 转移 概率 矩阵 常常 是 随时 间 而 异 的 ， 为 了 
更 加 如 实地 描述 客观 现象 ， 获 得 更 加 逼真 的 结果 ， 必 然 导致 非 齐 次 情形 的 研究 。 但 是 ， 由 
于 前 提 条 件 放宽 到 了 较 一 般 的 非 齐 次 情形 ， 这 便 大 大 地 增加 了 研究 对 象 的 复杂 程度 与 解决 
问题 的 难度 。 因 此 ， 与 齐 次 马 氏 链 已 经 取得 的 丰硕 且 深 刻 的 成 果 相 比 ， 显 得 相当 不 足 ， 故 
非 齐 次 马 氏 链 至 今 仍 是 有 待 深 入 研究 的 重要 论题 。 本 章 仅 对 非 齐 次 马 氏 链 转移 概率 的 渐 近 
性 质 展开 讨论 ， 在 不 损失 主要 内 容 实质 的 前 提 下 ， 为 了 使 分 析 、 推 导 、 叙 述 简单 起 见 ， 我 
位 只 考虑 状态 空间 8 是 有 限 集 的 情形 ， 对 5 是 可 列 集 的 一 般 情 形 可 参看 文献 [13]。 


8$1 基本 概念 


设 X= {X.m 一 0,1,…}) 是 取 值 于 38= {1,…,N}) 的 随机 变量 序列 , 沿用 第 一 章 中 已 定 ， 

义 的 符号 @ 会 P(Xo 二 让 ,i€ SP 会 [pa 十 z)] 。 
也 (十 有 0) 会 P(X,s+tn = jiX, = 0) ,i,jE S,n,mm > 0。 
这 里 当然 要 求 PCX, = 习 >0。 特别 地 , 记 ,P" 为 .P 。 如 果 对 任意 的 非 负 整数 a, 以 及 任意 
的 状态 jariES， 总 有 
已 (Xi = bti| Xo = 和 一 名) 
一 P(X 一 +i|X 一 加 ) = pi (nn 二 1), (1) 

刚 称 此 居 是 具有 初始 分 布 (4.) 及 转移 概率 矩阵 列 .P，" 一 0，1，… 的 有 限 非 齐 次 马 氏 链 。 式 
(1) 郑 为 马 氏 姓 的 数学 定义 。 

只 要 回顾 工 . 定理 3，1 . 定理 2, 仔细 考察 1. 定理 1, 便 知 存在 定理 、C- 开 方程、 马 
氏 性 的 各 种 等 价 定义 形式 等 在 非 齐 次 情形 下 仍 都 成 立 。 虽 然 非 齐 次 马 氏 链 与 齐 次 马 氏 链 一 
样 都 具有 马 氏 往 ， 但 是 齐 次 马 氏 链 的 概率 特征 仅 由 它 的 初始 分 布 与 一 个 〈 一 步 ) 转移 概率 
矩 禾 P= [7,] 所 确定 , 而 非 齐 次 马 氏 链 却 要 由 它 的 初始 分 布 与 一 列 在 各 个 时 刻 "的 一 步 转 
移 报 率 矩阵 .2，n 一 0，1，… 才 能 确定 它 的 概率 特征 。 正 因为 如 此 ， 导 致 了 非 齐 次 马 氏 链 与 
齐 次 马 氏 链 的 许多 显著 差异 。 例 如 强 马 氏 性 在 非 齐 次 情形 下 不 仅 变 得 复杂 ， 而 且 具 有 与 齐 
次 销 形 下 的 不 同 结论 。 . 

没 * 是 有 限 非 齐 次 马 民 链 = {X,,# 二 0,1,*…}) 的 有 限 停 时 ， 即 * 是 取 非 负 整数 为 值 
的 随机 变量 ， 而 且 对 任何 非 负 整数 "都 有 {7 = 小 6E 多 (XXX) 。 又 记 多 ,全 14:4P 
(一 中 E 多 (Ko 和) 一 0 …)， 称 多 ,为 前 -代数 。 对 任 一 随机 事件 B， 
P(8 引 8) 表示 按 下 述 方式 取 值 的 随机 变量 , 即 对 随机 事件 (和 一 io，… XX, 二 ,7T 二 4} (io***， 
2 和 ES 一 0,1…) 中 的 煌 有 样本 点 ，P(B3| 多 .) 取 值 为 
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P(B|F,) = P(B|Xo = oy ,YX, = hyT = 1)o (2) 
所 亩 XX 具有 强 马 氏 性 ， 即 对 任何 X 的 有 限 停 时 r+， 任何 非 负 整 数 *， 及 任何 状态 jE S， 
PlXits = j|F,) = prs(7,7 + 1), (3) 


总 是 以 概率 1 成立。 下 面 的 例子 证 实 了 与 齐 次 情形 不 同 ， 在 非 齐 次 的 情形 下 具有 强 马 氏 性 
的 X 不 能 保证 {Xi+.,n = 0,1,…} 是 一 马 氏 链 。 
例 1 设 X 是 有 限 非 齐 次 马 氏 链 , X 的 状态 空间 5 = {0,1} , 初始 分 布 为 ft 一 1/2 ， 
4 二 1/2} ， 在 时 刻 0，1，2 的 转移 概率 矩阵 分 别 依 次 为 
0 1 0 1 0 1 


0 1 0 0 1/2 1/2 0 1 0 
oP = 9 i 一 9 2P 一 9 
1 0 1 1 1/2 1/2 1 0 1 


其 它 时 刻 的 转移 概率 矩阵 .P，xs=3，4，，… 完 全 任意 ， 令 + 一 Xo， 易 验证 此 7 是 X 的 有 限 倍 
时 ， 定 义 

Y, = 及 ,+， n= 0,1,., 、 C4} 
由 式 (4) 及 马 氏 性 ， 


1 
P(r = 0,71 一 0) 一 >)P(Xe = i = 0,7 = 0) 
i=0 
一 P(X 一 0,XI = 0) 十 P(Xo = 1,X, 一 0 ,Xs = 0) 
= P(Xo 一 0)poo(0,1) 十 POCXo = 1)po(0.1)poo(1,2) = 1/2, 
P(7, = 0 ,了 ， 一 0,7， 一 0) = P(Xo = 0,XI 一 0 ,并 。 一 0) 
十 PCX = 1,X: = 0,X, = 0,X = 0) = 1/4, 


1 
P(G 一 0) = 》P(Xo 一 ii 一 0) 一 POk =0X =0) PX = 1.X = 0) 
1 到 0 


= 1/2 + 1/4 = 3/4， 
POY) = 0,Y;, = 0) = P(Xo = 0,X) = 0,Xs = 0)+ P(Xo = 1,X; = 0,X, = 0) 
= 1/4 十 1/4 = 1/2， 

从 而 , P(7: = 0|Yo 二 0,71 = 0) = 1/2,P(Yz = 0|Yi = 0) = 2/3 两 者 不 等 说 明 (7,,n 一 09， 
1,…)} 不 是 马 氏 链 。 

此 外 ， 非 齐 次 马 氏 链 的 状态 分 类 问题 也 还 没有 像 齐 次 情形 那样 得 到 彻底 的 解决 ， 值 得 
进行 深入 研究 。 

迄今 ， 在 非 齐 次 马 氏 链 的 研究 成 果 中 ， 相 比 之 下 ， 较 多 或 较 系 统 的 结论 是 集中 在 遍历 
性 方面 的 研究 。 因 此 本 章 仅 对 此 作 一 概要 介绍 。 为 此 需要 先 给 出 几 个 有 用 的 概念 。 

定义 ” 设 刀 是 XXX 随机 矩阵, 如果 它 的 各 行 都 恒 相 同 ， 则 称 了 了 是 稳定 的 。 具有 进 历 
性 的 齐 次 马 氏 链 , 它 的 一 步 转 移 概率 矩阵 P 的 4 次 里 P 当 * 一 cc 时 是 趋 于 一 个 稳定 的 矩阵. 
那么 对 于 非 齐 次 马 氏 链 何 时 .Po = [py(m,m 十 4)] 也 趋 于 一 个 稳定 的 矩阵 呢 ? 这 就 是 本 章 
要 讨论 的 问题 。 

如 果 我 们 把 NXN 随机 和 矩阵 已 看 作为 Y? 维 欧 氏 空间 中 的 点 , 那么 称 定义 在 也 有 和 NX 入 
随机 矩阵 集 {P} 上 的 , 取 值 于 [0, 1] 中 的 任 一 连续 函数 e(P) 为 遍历 系数 。 称 超 历 系数 etP) 
是 固有 的 , 当 且 仅 当 对 任何 稳定 的 矩阵 ?都 有 CP) = 1 成 立 ,。 对 入 XW 随机 矩阵 == Lp i- 
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yy 个 i 入 > j ) 
A(P) 全 ax in ps) ， 6(P) 和 会 2 Din ps) ， 
y (5) 
P) 人 会 in Smi 9 Dj) o 
a(P) 全 in 2 min(P pan) 
由 定义 式 (5)， 显 而 易 见 4(P)、6CP) .a(P) 都 是 遍历 系数 ， 而 且 6CP) 与 <(P) 是 固有 的 。 
定理 1 ApCP) 委 6C2) 委 a(CP)。 (6) 


证 因为 对 任何 j=1， … 都 有 ( min ps) 过 2 min ps) 9 故 由 式 (5) 知 ulP) 
信 3(P)。 又 因 对 任意 给 定 的 1 一 1 六， 有 ( min pa) < min(pa, pi) ， 从 而 得 


> X 
2 ( min ps}< DminCps, pn) 9 既 然 此 式 对 任 何 Vs 了 = 1]，…，X 都 成 立 ， 那 么 
4 一 1 ee Pe 


> ( minps) < min, minCgs,p2) ， 由 式 (5) 此 即 5CP) 过 a(P) ， 式 (6) 得 证 。 

称 随 机 和 矩阵 P 是 马尔 科 夫 和 矩 阵 ， 当 且 仅 当 AP) >> 0 。 

定理 2 不 等 式 x(P) > 0 等 价 于 P 中 至 少 有 一 列 的 元 来 全 都 是 正 的 。 

证 ”如果 4(P) >> 0 ， 由 式 (5) 必 存在 jb(1 筷 加 声 WN) 使 得 ,Din,p5 > 0， 从 而 对 任何 
[和 了 AN， Pijo > 0， 即 第 Jo 列 的 元 素 全 为 正 的 。 道 命 题 显然 成 立 。 

定理 3 不 等 式 uP) > 0 等 价 于 不 等 式 5CP) > 0 。 

证 ”由 式 (6)， 立即 从 j(P) >> 0 得 6(P) > 0。 反之, 由 5(CP) > 0 及 式 (5) 知 非 负 项 
之 和 》\( mi zu) > 0 ， 那 么 必 有 jo(1 世 为 过 Y) 使 得 (miapu] > 0， 再 由 式 (5) 可 断定 
uP}>0., 

回顾 ,定理 9 的 推论 2, 可 以 发 现 上 面 的 论证 已 经 指明 遍历 系数 x(P)、6(P) 都 是 刻画 
遍历 性 的 有 用 特征 。 两 者 的 主要 不 同 点 在 于 x(P) 不 是 固有 的 而 6(CP) 是 加 有 的 。 

称 随 机 和 矩阵 忆 是 不 规则 的 , 当 且 仅 当 a(P) >0.。 由 定义 式 (5) 直接 可 得 下 面 的 判别 方 

定理 4 wa(P) 0 的 充 要 条 件 是 任何 一 个 由 P 的 两 行 所 构成 的 P 的 子 矩 阵 都 至 少 拥有 
一 列 全 为 正 的 元 素 。 

据 式 〈6) ， 马 尔 科 夫 和 矩阵 必 是 不 规则 的 ， 但 是 逆 命题 不 真 ， 例 如 取 
0 1/2 1/2 
1/3 2/3 0 
1/4 0 3/# 
按 式 (5) 计 算 a(P) = 1/4 > 0, ulP) = 0 ， 所 以 此 是 不 规则 的 ， 但 不 是 马尔 科 夫 撼 阵 。 

注意 到 对 任何 实数 a, 3?， 有 min (a, 8) =1/2 (a 十 6 一 1a 一 61)， 那 么 由 式 〈5) 及 已 是 
随机 和 矩阵 得 


P= 


? 


N 
"1 1 
P) 一 i >， 本 二 pao— |ps — 2»; 
oF) 1 en Zp I ln 21) 


四 1 站 
加 | 一 入 le a 
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w 
一 1 一 去 可 肌 习 Im 一 mm (7) 
车 对 任 一 实数 a， 记 
a 人 若 e 之 10， = 0， 若 a 宇 0， 
0， 洪 a 达 0， a， 若 a 过 0。 


由 己 是 随机 矩阵， 对 任何 多 ;一 1，…，N， 
LA a 
Dy [Cu — Zi) 十 (pa 一 pz) 一 > Cp — x) 一 0， 
Lid kan | 
由 此 可 得 
“| a 1 s 
Dy pn 一 pi) 一 一 2 pa 一 pp) 一 一 可 之 / |pa 一 px), 
B= 1 Ed Ram 
从 而 ,对 5S 一 (1,…,N} 有 
] 必 
max 2 (ps 一 pnx) 一 了 2 jpa 一 pi | 


将 此 式 代入 式 (7) 可 得 atP) 的 另 一 种 表达 起 。 


a(P) 一 ] 一 max, max 之 (pu 一 pn), (8) 
下 面 的 定理 给 出 了 alP) 的 基本 性 质 。 
定理 5 对 任 给 的 两 个 NXNN 的 随机 矩阵 Pi = [py (1)], P: = [pi (2)j] ， 则 
1 — alPP;) (1 — a(P)) (1 ~— alP;)), C9) 
当 Y=2 时 ， 式 (9) 中 的 不 等 号 “ 委 ” 转 化 为 等 号 “一 "”。 


证 由 式 (8). 
N 
1 一 a(PiP,) = max max >) > Cpe C1) — pr C1)) pn 2), 


li jEN ECS BER rel 


对 任何 j=1， "WN, 以 及 任何 5 = {ls N} 的 子 集 已 ， 
y 
DY Dp) ~ pr) pl2) = > Cp (1) — pr 0))+ pa (2) 
r= 


ER rel EEE 


入 
十 > Co C1) — pr (1))™ 2 pn (2) 


r==1 4 


1 妆 CN .ww 网 
— Dy — DD ) 一 2 
< 2 了 >， | (1) Pir CD mma, 24 mm (2) Dn, Zr 2 | 


r=] 


1 < 要 | 9 
一 本 之 ) [ps (1) — py CD max Dy Pps (2) — pr (2)}, 


r=l ri N ER 


将 此 式 代 入 前 式 中 ， 再 利用 式 (7) 与 式 (8) 便 得 
1 一 a(PiP) 之 过 max >》 [pe CD) — pr COD) max max>y (Pr (2) ~— pr (2)) 
1&i jEN 全 1 ] 


2 ri EGS 4E8 
一 (1 一 cap))(1l1 一 caCP:)) 。 
对 于 N=2 的 情形 ， 经 直接 计算 知 式 (9) 中 等 号 成 立 。 
推论 ”对 任意 的 正 整 数 4， 任 意 # 个 和 NX 的 随机 矩阵 PP ， 则 
1 ~ aCPi*%P) < (1 — a(Pi)) (1 — alP,)). (10) 
应 用 定理 5 及 归纳 法 即 得 推论 。 
注 1 考察 定理 5 的 证 明 可 知 : 对 任何 入 XM 随机 抢 中 忆 与 MX 大 随机 抵 阵 产 ， 定 悍 
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5 仍然 成 立 。 特别 地 ,如果 忆 = [yp (1)，…pr C1)] 与 P; 一 [pm 《2),… ,px (2)] 是 两 个 NN 维 


概率 分 布 向 量 , P 是 NXN 的 随机 和 矩阵。 把 定理 5 应 用 到 矩阵 P' = on 人 上 


P 上 , 便 得 1 一 a(P'P) < 1 一 “(PD))K1 一 a(P)) 。 再 用 C-K 方程 与 式 (7) 展开 有 
> | 3 (GD — p; (2)) ps |< > lm GD — p C2) | (1 ~ alP)), QD 


注 2 以 上 所 介绍 的 遍历 系数 等 概念 与 有 关 的 结 论 对 齐 次 或 非 齐 次 马 氏 链 都 是 适用 
的 。 

最 后 介绍 一 个 非 齐 次 马 氏 链 的 典型 例子 。 

例 2 下 里 耶 (Palya) 坛子 模型 ， 设 开始 坛 中 装 有 e 个 白 球 和 ?4 个 黑 球 ， 以 后 在 每 一 时 
刻 s=1,，2，…， 从 坛 中 随机 地 抽取 一 球 , 取 后 放 回 坛 中 ， 并 同时 新 增加 < 个 与 所 取得 的 球 
同 颜 色 的 球 添 入 坛 中 。 若 令 X = 0,X,(n = 1,2,…) 表示 在 开头 的 前 次 随机 抽 球 中 , 取得 
白 球 的 次 数 ， 认 此 X. = i 表示 在 前 x 次 抽 球 中 ， 抽 得 白 球 共有 i 次 ， 抽 得 黑 球 4 一 i 次 ， 于 
是 在 进行 第 十 1 次 抽 球 之 前 坛 中 含有 白 球 a 十 记 个 , 含有 黑 球 5 十 (1 一 让 个。 显然 ,在 已 
知 X，X1，…，X, 取 值 的 条 件 下 ，X,+! 的 条 件 概率 仅 依赖 于 X, 的 取 值 。 所 以 {Xo 六, ，…} 
是 马 氏 链 ， 而 且 ， 对 任何 4=0， 1，…， 及 任何 :=0， ***, 1, 


Pa《 十 1)= P(X+1 三 i|X, = i) 三 Te > 
pnt D =P( XH 一 iT = 人 


pinsn 二 1) = 0, 了 天 ;十 1。 
如 果 令 7 = 0, 以 了 ,(n = 1,2,…) 表示 在 第 次 抽 球 中 抽 得 白 球 的 个 数 ， 显 然 每 个 7, 只 能 
取 0 或 1 为 值 ， 而 且 了 Yo 十 … 十 一半 ，n 二 0，1，…。 若 记 ， 
名 一 PC 一 工 7o 7 一 1 2 
4 十 其 1C 


则 | p, 二 THETTO Tc， n= 12， (13) 
4 十 《Xu -1 十 17c 
Taiitw 当 
加 +1 一 (14) 
a 二 六 .1c 当 了 一 0 
了 十 六 二 加， a 9 
即 对 一 1， 2，…， 
4 十 十 全 一 1)c C 的 
oftw Mtatstw’ 当 
Psti 一 (15) 


2 十 5b 十 (人 一 1)c 
7 十 2 十 加， 


关于 下 里 耶 坛子 模型 的 更 加 详细 的 论述 可 参看 文献 [8]。 
2 弱 刀 历 性 


定义 称 马 氏 链 X 是 〈 在 柯 尔 莫 哥 洛 夫 意 义 下 ) 弱 遍 历 的 ， 当 且 仅 当 
lim [paCmym 十 3) 一 pz In 十 1 一 0， (16) 


当 Y 了 Y, 二 0。 
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对 任何 mm=0.， 1 …， 以 及 任何 i，;，#E 5 都 成 立 。 

注 1 式 (16) 并 不 意味 着 当 as 一 co 时 ， puGnsm 十 区 和 pilmsm 十 1) 有 极限 ， 但 它 表 示 
存在 着 一 种 趋向 , 即 对 任何 非 负 整数 wm, 当 rr>ce 时 , 矩阵 ,Po = [am 十 9 中 的 每 一 
行 都 趋 于 相等 。 

注 2 要 使 式 (16) 对 任何 非 负 整数 m=0，1，… 都 成 立 ， 只 要 存在 荣 个 给 定 的 正 整 数 
me， 对 所 有 的 m>moy， 式 (16) 成 立 就 足够 了 。 因 为 对 任何 非 负 整数 1:0 近 5 委 me 扫 本 ， 以 
及 任何 ?， 疡 ，kES， 由 已-K 方 程 与 式 (16) 

lim nLpell, 天 二 0 一 2 十 的] 


m[ > UR) pa 十 BR) DA npalm,m 十 9 


j=1 


i 


= = lim Np Cm) pr Cm) [pa Gi mo- a) pamm + n) 


Ps, jl 


一 > Cm) p.m) lim Lpalm, 十 1) 一 pulmsm + rn)]= 0。 


j=1 


这 就 表明 对 任何 10 过 1 志 mw。 , 在 式 (16) 中 以 1 换 思 后 仍 成 立 。 换言之 , 即使 在 转移 概率 
矩阵 列 {oP 一 [psnym 十 站] vm 二 0,1,…) 中 替换 了 有 限 多 个 随机 矩阵， 其 弱 遍 历 福 仍 
保持 不 变 。 

现在 讨论 马 氏 链 具有 弱 近 历 性 的 充 要 条 件 ， 

定理 6 有 限 马 氏 链 是 弱 人 遍历 的 充分 且 必 楼 的 条 件 是 对 任何 非 负 整 数 m， 都 有 下 式 成 


lima(wP™) = 1 C17) 


0 


证 由 式 (7) 知 式 (16) 与 式 (1?) 等 价 ， 定 理 得 证 。 
定理 7 ”有限 马 氏 链 X 是 弱 遍 有 历 的 充 要 条 件 是 存在 稳定 和 矩阵 列 Ge mm 三 0,1,…， 
n 一 1,2,… 使 得 
infuPpo —sl™) = 10, (8) 


Wy 


对 任何 mm =0，1，… 都 成 立 。 

证 先 证 充分 性 。 如 果 式 (18) 成 立 ， 因 为 每 个 ,77” 都 是 稳定 的 ， 于 是 .49 中 每 列 元 
素 都 相等 ， 于 是 第 上 列 的 元 素 都 可 记 为 到 (Cn ， 由 式 〈18)， 对 任何 JJ，pES， 任 何 六 
二 0， > “~ 都 有 

lim (palnm dn) Mmm,R)) = 0 lim(paGn min) — mm,n)) = 0, 
由 此 可 得 
lmE pmm a) CO— palnsm dT 2) j= limfEpaCnsm tt tw CE 
— lm pm Tn) — mn,n) = 0,， 
依 定义 X 是 弱 侦 历 的 。 
再 证 必要 性 .。 若 交 是 弱 记 历 的 ， 对 任何 ”一 ;| 2，…， 及 任何 上 ES， 令 


I 下》 = :vy oi 认 十 3 (19) 


i 


第 上 列 的 元 素 都 是 mmsa) 的 NXY 和 矩阵 记 作 1" . 易 验 证 此 ,17% 是 稳定 的 。 对 任何 
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mm 一 0，1，…, 任 和 何 j，xkES。、 由 式 (197、 式 (16) 有 

lim [pa Cm,m 十 na) 一 有 (au)] 一 lim 太 > [pm 十 81) 一 (十 42) 一 0 
站 式 (18) 成 立 ， 定 理 证 完 。 

推论 ”有限 马 氏 链 X 是 弱 遍 历 的 充 要 条 件 是 对 所 有 的 m 一 0，1，…， 转 移 概 率 和 矩阵 序 
列 {poa 一 1 2 的 任何 收敛 子 序 列 的 极限 都 是 稳定 矩阵 。 

证 必要 性 。 设 X 是 弱 遍 历 的 , 由 定理 ?7 式 (18) 成 立 。 对 任 一 固定 的 m(= 0,1,"…) 及 
子 列 1 委 m <o<…， 若 有 极限 limaP"? 一 4， 那么 由 式 (18) 知 极限 lim» lI®o 必 存 在 并 且 等 
于 ,4。 因 为 每 个 ,2% 都 是 稳定 的 。 所 以 其 极限 .4 必 是 稳定 的 。 

再 证 充分 人性。 如果 对 一 国定 的 m 和 一 子 序列 1 和 wm<mm<… 有 极限 limoP 2 记 作 ,而 
县 ,7 是 稳定 的 。 那 么 对 任何 mm(= 0, 1 ) ,nC 二 1,2,…), 总 可 唯一 地 确定 心 = 1,2,…) 使 


得 WA » 今 
Do 二 由 着 "一 ww， (20) 
”车 


因为 .7 是 稳定 的 , 。+.Pe- 9 是 随机 和 矩阵， 故 .To 是 稳定 的 。 利 用 C-K 方程 、 式 (20) 与 假 
设 条 件 有 
lim [esPe 一 so 一 lim[ oP rwPe ee 一 和 Dos | 

上 式 中 最 后 一 个 等 号 是 因为 ti 一 co 时 ， 必 有 (co， 又 每 个 or+sPe 都 是 随机 矩阵， 以 及 lim 
“Pp 一 .也 的 假定 而 得 。 依 定理 7 知 X 弱 遍历 ， 证 完 。 

定理 8 有 限 马 氏 链 X 是 弱 凯 历 的 充 要 条 件 是 存在 一 递增 的 自然 数列 1 委 m 过 mm 之 …， 
使 得 非 负数 项 级 数 >)oCvPer”) 发散 ， 

证 必要 性 。 若 X 是 弱 饥 历 的 , 由 定理 6, lima(sP") = 1， 对 任何 非 负 整数 m 都 成 立 。 
于 是 可 取 到 递增 自然 数列 1<m 过 ns 过 …， 使 得 

df Po 袜 ， (= 1 2，…， 


故 Val Po ) 发 散 。 


再 证 充分 性 。 根 据 微 积分 知识 非 负 数 项 级 数 了} a ,Posi-9) 发 散 的 充 要 条 件 是 无 穷 
乘积 
[1 a,P 0) |=0 (21) 


L ’ 


i 


{= 


现在 假设 上 述 级 数 发 散 ， 故 式 (21) 成 立 。 
对 任意 给 定 的 1 一 0，1，…，1 一 1，2，…， 总 可 取 到 自然 数 ! 与 非 负 整数 人 ， 使 得 
MER 十 1 
利用 C-K 方程 与 定理 5 的 推论 ， 并 注意 到 0 和 1 一 alP) 安 1， 便 有 
O01— asPo) EL osP m1 — oP ) J 
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D1 ew Pee) J ~ als Pt) ] 
[1 a.Pe) io os P me ) 
[1 lr Pe) ], 
令 "一 m2， 那么 oo， 由 式 (21) 知 上 式 右 方 趋 于 零 。 所 以 对 任何 wm 二 0，1，…， 有 
limal Po) = 1 ， 根 据 定理 6 即 断 言 X 是 弱 遍 历 的 。 


推 沦 2a.P) 发 散 的 有 限 马 氏 链 X 是 弱 遍 历 的 。 对 于 仅 有 两 个 状态 的 马 氏 链 弱 遍 


历 的 充 要 条 件 是 级 数 yaCvP) 发 散 。 


证 只 需 在 定理 8 中 取 ww 一 4，: 一 1，2，…， 即 得 第 一 论断 。 
由 定理 5 及 两 状态 马 氏 链 的 假定 ， 对 任何 mm 一 0，1，…，z 一 1，2，… 有 


本 十 s 一 了 


1 一 al(opo)= [i— ap)). (22) 


因而 出 定理 6、 式 (22) 及 微 积分 知识 得 知 : 如 果 两 状态 马 氏 链 是 弱 遍 历 的 ， 则 Siacp) 发 
散 。 再 结合 第 一 论断 便 得 第 二 论断 。 

定理 9 有 限 马 开 链 是 弱 遍 历 的 充 要 条 件 是 存在 单 增 的 自然 数列 1I 委 wm<nwz<… 使 得 非 
负数 项 级 数 > ,5f Per ) 发 散 。 


证 由 式 (6》 及 定理 8， 邑 证 得 充分 性 。 

因为 任何 有 界 数列 必 有 收敛 的 子 序列 ,以 及 状态 空间 是 有 限 的 , 所 以 对 任何 m= 0,1， 
Pm, 二 1,2,…} 都 有 收敛 的 子 序列 。 于是， 如 果 链 是 弱 遍 历 的 ， 则 由 定理 7 的 推论 ， 
并 注意 到 遍历 系数 4(P) 是 P 中 元 素 的 连续 函数 以 及 5CP) 是 固有 的 , 便 知 :对 任何 m=0,1， 
…， 必 存在 子 列 1<m<ms 之 …， 使 得 ms(-Peo) 一 1。 由 此 可 见 必 有 递增 自然 数列 < 
之 tz 之 …， 使 得 


1 


| Peer ) 之 误 ， 7 一 1;2,…， 


从 而 >;6{ .Per )] 发 散 ， 定 理 证 完 。 

推论 。 ysCsP) 发 散 的 有 限 马 氏 链 是 能 遍历 的 。 

注 由 于 遍历 系数 x(P) 不 是 固有 的 ， 因 此 对 x(P) 不 能 得 到 像 关 于 wa(P) .5(CP) 的 定理 
8、 定 理 9 那样 的 类 似 定理 ,但 是 由 式 (6) 知 ， 级 数 了 14( ,Pm 发 散 是 链 弱 志 历 的 充分 


条 件 。 

我 们 还 能 通过 两 个 具有 相同 转移 统计 规律 的 独立 的 马尔 科 夫 系统 巴 、 之 的 随机 运动 来 
形象 地 刻画 弱 遍 历 性 。 

定理 10 设 有 限 非 齐 次 马 氏 链 X= {X,, 4 二 0,1,…}) 与 Y= {7,, mn 一 0,1,…) 具 有 相 
同 的 状态 空间 8 = {1,…,w}、 相 同 的 初始 分 布 {a，i € 5) 及 相同 的 转移 矩阵 列 
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(.P,n 一 0.1…}》， 而 且 文 与 了 相互 独立 , 则 X( 或 站 生 各 和 1 有 : 
号 了 在 任 让 定时 处 于 不 辣 的 状态 ,最终 娶 同 时 到 达 相 同 的 状态 , 即 3 与 琶 尽管 在 和 任 
一 确定 时 刻 从 不 同 的 状态 出发 ， 但是 最 终 总 要 相 旭 ， 

证 必要 人 性。 在 任意 给 定 的 时刻 ma 一 0,1.…*) 头 与 Y 已 分 别 依次 处 于 不 同 的 状态 i、j 
的 条 件 下 , 恰 在 时 刻 wn 十 az 二 1,2,…) 达到 同样 状态 的 概率 为 POX 一 六 + 全 一 让 Ya 
== 让， 利用 概率 的 有 限 可 加 性 、X 与 Y 独立 的 假定 、0; -不 等 式 及 式 (5) 有 


Na , ， 。 
,yy i 忆 Xa = i Xnts 一 大 Ya 二 jrYnts = k) 
PLX 一 Ito 一 P(Xs = Ys = )) 


daz 
» 


= NPUXors = kX 一 站 Po 一 丰 Y 一 让 
B= 
Ny 


之 >) [min( pumom + nn) pam m+ a)) 


kl 


~y 
1 
之 一 N [mn Pa msom + 1) ,Dim 十 有)) 于 


-aap (23 
> Pp"), ) 


故 对 任何 状态 i 沽 j, 任何 m=0, 1 二 |，2,， 
Pl( 六 +。 关 YX。 一 tn 一 让 一 ] 一 Pl nt =: yore |X 一 bY 一 


妇 1 一 二 (opPm)。 (24) 


如 果 (或 了 ) 是 弱 遍 历 的 ， 遇害 加 6 必 存 在 递增 的 非 负 整数 列 w== 6 过 过 nn 之 ， 
使 得 对 所 有 的 /==6，i，…。 都 有 可 区 人 以 (Pei 委 上 成立 。 由 此 可 得 


i HP ) | 一 0 (25) 


I ~ 


利用 XX 与 Y 的 独立 性 、 马 氏 性 假设 以 及 式 《24) 有 
PCOX, 入 Y, »X,, 天 Y,, | X。 二 7, 了 ,二 力 


= >») DP(X, = 加 了 了 X， = jy = jl Xn = bn = 
是 天 用。 2 闫 二 
ES igrjrES 
A | 
2 2P(X, 
且 关 入 各 天 六 
i 他 ,72 有 人 
Wi _! 
D> Pn pn ma) pa mm Pijs Cn ns) 
让 天 有 iz 关 jz 
vj ES jES 


>) ps, mri dp ns mr) | >) pus Cn sR2) pj, Cmts 2) | 


| 
ll 


UX, 一 ia | Xu 一 3 P{ Y, 一 九 ， 了 ， 一 1Y, 一 中 


| 


ati Ea: 
js i ES 
= >») pi mani) pin Mn)P( XX 天 Y,, | 六。 一 2 一 入) 
Heth 
ES 


~ 1 国 
< 去 >) pa Cn ) po, Cn 1 一 于 Pe -| 
下 天 因 
rE 
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人 
由 式 〈26) ， 应 用 归纳 法 ， 可 得 一 般 的 不 等 式 : 
P(X A YX |X = Y=) 
工 一 上 


过 L! 一 (Per | {1 _ 方 olsPe 。 (26) 
应 


1 0 
< (1- em 小， LL= 1,2, (27) 
由 此 更 有 
P( 站 天 Yn 一 Mm 十 Ly sR | Xs 一 29 一 )) 
L—1 
< ] ， 
< Hi- ")]. L=1,2,.. (28) 


在 式 (28) 中 , 令 L->oco， 由 式 (25) 得 
P(X 关 Yn 二 WW 十 1 ,|X 二 计 了 ,二 让 二 0。 

这 表示 X 与 了 最 终 要 同时 到 达 相 同 状 态 的 概率 为 1。 

反之 ， 证 充分 性 。 假设 X 与 Y 在 任意 给 定 的 时 刻 分 别处 于 不 同 的 状态 ;i、;， 而 两 者 最 
终 要 同时 达到 相同 状态 的 概率 为 1。 若 以 7Gm,n) 表示 在 X。 = i,Y。 二 j 的 条 件 下 ,，X 与 Y 
在 时 刻 m 十 z 之 后 首次 同时 达到 同样 的 状态 的 概率 ， 那 么 必 有 

limri(m,n) 一 0， m= 0,1,,t Jo (29) 

以 rlm,m') 表示 在 X。 二 i 了。 二 j 的 条 件 下 , XX 与 Y 于 mw 十 w' 时 首次 达到 同一 个 状态 
恰 为 + 的 概率 。 又 以 革 (m,n) 表示 在 X。 二 i, 了 ,二 j 的 条 件 下 ,Xn+, 一 ,并 且 义 与 Y 在 m 十 n 
之 后 才 首 次 到 达 同 一 个 状态 的 概率 。 因 为 对 称 , 所 以 ?Gin) 一 Pay ) 一 Ti 
m!) ， 由 记号 的 概率 含义 显然 mu(Cnayn) 之 rar) 。 应 用 这 些 记号 , 利用 六 与 了 的 独立 性 、 
马 氏 性 以 及 它们 最 终 要 同时 到 达 相 同 状 态 的 概率 为 1 等 假定 ， 则 有 
PlYs = )) 
PlY, = )) 
一 PLXn+s = kX = ,Yn = DN) 


Pa Cm >m 十 n) 一 Pl Kats 二 人 | 六 一 1) 


一 DP Xt 一 了 ee > Km 一 £k|X, 证 YY 一 j) 


十 OP( Kstm = Yup Kot = k|K, = i = )) 


= DOP( Xo 一 Yakw = hh Xt = 十) 


1 一 0 1 一 1 2 (30) 
又 rip Cm palm 十 7 十 1) 
= P(Xarm —= Yaiw 一 天 Xe = i = P(Xats = EIXurm = Bh) 
= [2 PCYo = jorYntwm 二 月 TT P(Xute = hsXnt, kh) | 


P(X, = WP(OY, = 2)) ji P{ Xoym = ) j 
。 at 二 ,Xmts 一 于) 了 
已 ( 天。 二 二 hh ,Xr 二 卡 ) | 
P(Xs = Xam = h Xn = Phos = jlYvin 一 刘 
POXs, = 2) PlYn = 7)) 
P(X, = i = ,Xniw = Yutm = hh, Xnt+, = k) 
POXs = i,Yn = 2)) 
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= P(X = Yap = hh Xap, = kX, = bY, = )) 


Vj hEKE Sm = 0 n = 1,2,%,1 一 399 内 (31) 
将 式 (31) 代 入 式 (30) 便 得 
paCmsm 十 Nn) 一 2) Dj ri n,m!) pu Cm 十 mi 5% 十) 十 (G1n,n)， 
N=]l AES 
tIkE SIFEi m= 01 一 1 2 (32) 
类 似 地 推导 可 得 
paCmsmt a) = >) PraCnm) pam mm 十 8) 十 号 (mya)， 
ml AES 
bjsk EE SL j= 0,1,",n = 1,2,°° (33) 
由 式 (32)、(33) 可 得 : 对 任何 i， Jj» k€ES, tj， m=0, 1, ,3=],，2, 
|paCmsm tn) — plmsmt a)| = |riGnn) CO— (m,n) | Eri m,n), (34) 
于 是 由 式 (29) 及 式 (34) 知 : 对 任何 部 和 ES， ;天 小 
[paCmsm 十 2) 一 DCny 十 2)| 一 0， m= 0,]1，… (35) 


回顾 遍历 系数 a(P) 的 表达 式 (7)》 ,利用 式 (35) 便 有 a "PP 一 六 1， 对 任何 w==0, 1,， 
都 成 立 ， 再 由 定理 6 得 知 马 氏 链 X( 或 了 ) 二 万 的 定理 得 证 。 

对 弱 遍 历 性 赋予 一 定 的 限制 ， 可 得 到 它 的 一 种 强化 了 的 变形 ， 即 一 致 弱 遍 历 性 。 称 有 
限 非 齐 次 马 氏 链 X 是 一 致 弱 遍 历 的 ， 当 且 仅 当 对 无 论 什么 状态 i，j,t€ 8。 


lim[palnomt ni) — pam,sm + rn) = 0 (36) 
总 是 关于 二 0，1，… 一 致 地 成 立 。 或 由 定理 6 可 等 价 地 定义 为 
lima( .Po ) 一 | (37) 


[1 


关于 m=0，1，…， 一 致 地 成 立 。 

定理 11 有 限 非 齐 次 马 氏 链 是 一 致 弱 人 遍历 的 充 要 条 件 是 存在 正 整数 mo 及 正 数 “使 得 
对 无 论 什 么 非 负 整数 mw 都 有 a( 。Pee) > 成 立 。 

证 必要 性 可 从 一 致 弱 饥 历 性 的 等 价 定义 形式 (37) 得 到。 

现 证 充分 性 。 若 对 正 整 数 mw、 正 数 “ 及 任何 %* 二 0,1,…,0 过 a 过 a(wP*0) < 1 都 成 立 ， 
那么 , 1 一 a( PP?) 之 1 一 a,m 二 0,1,…, 从 而 由 定理 5 的 推论 知 ; 对 无 论 什 么 非 负 整数 mm， 
无 论 什 么 正 整 数 :me 委 2<< (十 Dr 一 0 1 ， 则 有 

一 6Cpe (1 oa) 
故 对 任何 =0，、，1，…，2 一 1，2，… 
1 守 a(sP?) 宇 1 一 一 a 之 1 一 《(] 一 a) /7! (38) 
由 式 (38) 及 定义 式 (37) 即 得 马 氏 链 是 一 致 弱 遍 历 的 ， 证 毕 。 
注 因为 式 (38) 及 式 (7) , 所 以 对 任何 m=0, 1, ,n=1, 2, ,1 JES3 都 有 


Son 十 四 一 Cn， 人 十 2) 魏 2(1 一 a)™/o0-1, 
[et 
下 ，1，…，1 一 1，2，…，?1 jE3， 
5 i> | za ma 十 3) — paCm,m + 1)| = Sl paCmom 二 1n) — piaCmsm 二 n))+ 


二 一 下 


一 一 SY pa msm 十 #) 一 Pj Cm ,In 十 )) 一 


kel 
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从 而 对 任何 m=0，1，…，n 二 1，2，… ,i,j, k€8 都 有 
|paCms mt n) ~ prlm,m a) | Ro oi, (39) 
由 此 说 明 式 (36) 是 以 几何 速度 一 致 地 收敛 于 零 。 

一 般 说 来 , 定理 11 中 所 给 出 的 充 要 条 件 是 不 易 检 验 的 。 因 此 去 寻求 简便 的 一 致 能 遍历 
性 的 充分 条 件 是 有 用 的 。 为 此 需要 先 给 出 几 个 概念 和 辅助 结论 ， 

对 随机 矩阵 P, 将 忆 中 每 个 正 值 元 素 都 用 1 代 换 后 所 得 到 的 矩阵 称 为 己 的 关联 矩阵 。 由 
遍历 系数 xCP)、alP) 的 定义 式 (5)， 即 可 发 现 一 个 随机 和 矩阵 P, 无 论 是 马尔 科 夫 抢 阵 还 是 不 
规则 矩阵 实际 上 只 依赖 于 忆 的 关联 矩阵。 设 P (1) 与 2 (2) 是 两 个 YXA 的 随机 和 矩阵， 当 
且 仅 当 PC(1) 与 P(2) 的 关联 矩阵 相同 时 ， 记 作 P(1) ~ PC2) 。 

设 P 是 随机 矩阵 ， 如 果 存 在 某 自然 数 mw 使 得 acCP) >> 0 ， 则 称 P 是 混合 的 。 

引 理 1 设 P0) 是 和 NXN 随机 矩阵, PC(2) 是 入 XN 混合 矩阵 ,如果 P(1)P(2) 一 P(1) 
， 则 P(1) 是 马尔 科 夫 矩阵 。 

证 容易 验证 : 车 4、B、C 是 三 个 NXN 随机 矩阵 ， 又 4~B， 则 4C 一 BC， 由 此 及 假 
设 条 件 得 PQ1)[PC2) 了 ~ P(1)P(2) ~ P(1) 。 用 归纳 法 ,一般 地 对 任何 正 整 数 n 有 
P(1D)[PC(2)J* ~P(1) 。 由 于 P(2) 是 混合 矩阵 , 可 以 证 明 对 充分 大 的 正 整数 4, [P(2)】 是 马 
尔 科 夫 矩阵 (参看 [15]) 。 据 定理 2, [PC(2)] 中 至 少 有 一 列 不 妨 记 作 第 六 列 的 元 素 全 为 正 
值 ， 既然 P(1) 是 随机 矩阵， 那么 P(1)[P(2) 了 的 第 和 6 列 元 素 全 为 正 值 ， 仍 据 定 理 2， 
PLD)[P(2)]' 是 马尔 科 夫 和 矩阵， 既然 PCD) ~ PCDLPC2)J ,那么 P(1) 必 是 马尔 科 夫 矩阵 ， 
证 毕 。 

引 理 2 ”如 果 对 每 个 m=0，1，…，? 一 1，2，…，Po 都 是 YX 混合 矩阵 ， 则 对 一 切 
mM 二 0,1n 二 t 十 1 十 2 ,wnP 都 是 马尔 科 夫 矩阵， 这 里 i 是 在 所 有 对 应 于 入 XN 泥 
合 矩 阵 的 关联 矩阵 中 所 含 不 同类 型 的 个 数 。 

证 因为 N 是 给 定 的 正 整 数 ， 那 么 元 素 仅 取 0 或 1 为 值 的 YX 六 方 阵 最 多 只 有 2% 
个 ， 所 以 上 必 为 有 限 数 。 由 上 本 身 的 含义 ， 对 任何 如 一 0，1.，…， 在 。P ,。PG ,Pet+D 这 
上 十 1 个 六 X 六 随机 矩阵 中 至 少 有 两 个 具有 相同 的 关联 和 矩阵， 从 而 存在 自然 数 m sm:0 过 ni 
二 mz 肠 t 十 1，, 使 得 ,PD 一 Poo ， 即 Pen ,POD mtu Pn ， 由 假设 m+n Pe" 是 混合 
矩阵, 于 是 依据 引 理 1 知 Po 是 马尔 科 夫 抑 阵 。 于 是 对 任何 mm==0，1，…，nz 一 上 二 1， 十 2， 

aP® 一 Po PC (40) 
必定 都 是 马尔 科 夫 和 矩阵。 倘若 不 然 ， 依 据 定理 2, .2 中 每 一 列 都 有 零 元 素 ， 而 .P 中 至 
少 有 一 列 不 妨 记 作 第 ji 列 的 元 素 全 为 正 值 。 这 样 由 式 (40) 知 tvPe- 7 的 第 各行 的 元 素 必 
全 为 零 ， 这 与 +,Pe- 是 随机 和 矩阵 矛盾 。 故 结论 得 证 ， 

注 在 引 理 1 与 引 理 2 的 证 明 过 程 中 ， 实 际 上 已 证 明了 如 下 的 一 般 结论 : 如 果 两 个 
NXA 六 随机 和 矩阵 中 至 少 有 一 个 是 马尔 科 夫 和 矩阵， 则 其 积 必 定 也 是 马尔 科 夫 和 矩阵。 

定理 12 如果 有 正 整 数 mw 与 正 数 ee， 对 一 切 站 一 0, 1 二 mm 十 1…wPpo 都 是 
混合 矩阵 ， 而 且 对 一 切 m 一 0，1，…， 

min* pm,m 二 1n0) 宇 a 守 > 0， 《41) 
这 里 记号 min+ 表 示 仅 对 正 值 元 素 取 小 ， 则 有 限 马 氏 链 是 一 致 弱 遍 历 的 。 
证 由 假设 对 任何 m= 0,1,…，Peo Poco ysPe+bo 都 是 混合 矩阵 ， 再 由 上 的 含 
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义 ， 必 有 正 整 数 0<ma<m 委 上 十 1， 使 得 

nem ~ a 20 一 Pro mi P20 

oP Th PE PC+Iano0， 
依 引 理 1 知 .P%w0 从 而 .P+ 都 是 马尔 科 夫 矩阵 , 于 是 按 马尔 科 夫 答 阵 的 定义 及 定义 式 
(5) 有 


0 < psPC+Do) 全 max min pm 十 (十 1)no)。 
I&jEN 1&iEN 


故 至 少 有 一 jo(= I, ,NN), 使 得 Ps (mm 十 人 十 1)no) > 0,1 一 1，V 。 应 用 C-K 方程 ， 
0 pmsimt Gt 1m) = palmsm tno py Cm + tnosm + C+ 1)n0), 


ES 
那么 至 少 有 一 如 (= 1,…，,N) ， 使 得 
2 十 人 性 二 TDn) 之 2 十 训 poGn 十 如 om 十 性 十 Do 之 0。 
利用 假设 条 件 式 (41) 得 
Pam,m 十 二 1)n0) pa Cm tnao)a > 0。 
同 理 至 少 有 一 "(= 1,…,N) 使 得 
Pa mm 十 bao) Spiro Nm (tt — 1)no)a > 0， 
将 此 式 代 入 前 式 ， 并 依 此 类 推 便 得 
pm 十 (十 1)n0) 之 or 0 (42) 
故 {aP TD)) > dt+1， m= 0,1,.， (43) 
栓 据 定理 工 即 有 
a(nP i ) 2 a't!, m= 0,1,…， (44) 
于 是 由 定理 11 知 马 氏 链 是 一 致 有 弱 遍 历 的 ， 证 完 。 

注 1 如 果 对 正 整 数 m, NN XN 随机 和 矩阵 列 .Poeo 2 一 0,1,… 都 是 不 规则 的 , 则 入 x 六 
随机 和 矩阵 列 ,PY ,m= 二 0,1,…,n 二 1,2,… 都 是 混合 的 . 事实 上 , 因为 。P”0 ,m= 二 0,1,… 是 
不 规则 的 ， 依 定义 a(wP 人 0 之 0 二 0,1,…, 应 用 定理 5、 对 任何 m= 了，1，…，# 二 tw， 
no 二 1， ， 

(人 一 anPo) 委 (1 一 anPeo)) 一 oop OE (1 alsp0)) < 1, 
故 a(wP”) >0 ， 即 .Po 是 不 规则 的 ， 依 定义 也 是 混合 的 。 

注 2 考察 定理 12 的 证 明 便 知 ; 如 果 六 XN 随机 和 矩阵 ,2*0 是 不 规则 的 , 则 由 假设 条 件 
式 (C41) 可 得 ce ) 之 a。 

通 观 $2， 值 得 引起 我 们 注视 的 是 遍历 系数 xCP)、5(P)、alP) 在 刻画 和 研究 马 氏 链 《〈 非 
齐 次 或 齐 次 ) 的 遍历 性 中 的 重要 作用 。 


33 强 遍 历 人 性 


定义 ” 称 有 限 马 氏 链 X 是 强 遍历 的 ， 当 且 仅 当 对 所 有 的 w= 一 9，!1，…，i，j€E， 存 在 
极限 limpy(m,im 十 za) ， 而 且 它 不 依 凑 于 iES， 记 为 zj;Crna) ， 即 

limpyj (mm 十 2) = rm), ji€E Sm= 0,l,o (15) 

注 1 如 果 式 《45) 成 立 ， 实际 上 此 极限 jm) 也 不 依赖 于 MU 现在 来 证 明 
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这 一 事实 。 用 矩阵 记号 来 表示 式 (45) ， 就 是 
limwp™ = 11(n), m= 0,1,*， 《46) 
ZTCn) 是 和 NXN 方 阵 , 而 且 对 任何 和 一 1 …，N， 第 7 列 上 的 元 素 都 等 于 mvm) 园 一 个 值 。 因 
为 C~K 方程， 
nD = PnP -Dd, m= 0,1,…,n = 1,2,.…, 
在 此 式 中 ， 令 "一 ce， 由 式 〈46) 便 得 
(ny 一 -PIG 十 1， m= 0,1,., (47) 
在 式 (47) 中 ,注意 到 .P 是 随机 和 矩阵， 而 Gm 十 1) 的 各 行 相同 ， 故 Cm) = Ga 十 1) ,im 
二 0,1,…，, 结论 得 证 。 故 可 将 式 (46)、(45) 中 的 了 (ma .ia 分 别 依次 记 为 及 、zj。 
注 2 与 弱 遍 历 性 定义 中 的 注 2 一 样 的 论证 便 知 , 为 了 保证 式 (45) 成 立 ， 只 要 存在 某 
个 正 整数 me， 对 所 有 的 m>me， 式 (45) 成 立 就 足够 了 。 
注 3 依 定 义 ， 一 个 强 遍 历 的 有 限 马 氏 链 显然 必 是 弱 遍 历 的 。 但 是 , 一 般 说 来 , 由 弱 遍 
历 性 未 必 能 引致 强 遍历 人 性， 那么 它们 之 间 的 差 蜡 在 哪里 ? 又 如 何 来 表征 这 一 差异 ? 为 了 回 
答 这 些 问 题 引 出 了 下 面 的 概念 与 结论 。 
称 有 限 马 氏 链 X 是 渐 近 章 次 的 , 当 且 仅 当 存在 着 定义 在 状态 空间 8 二 (1,…Y)} 上 的 概 
率 分 布 P' = [p1,… ,pxj] 使 得 
limP'.P = P'。 (48) 
称 有 限 马 氏 链 X 是 渐 近 平稳 的 ， 当 且 仅 当 存在 着 定义 在 8 = {1,…,N} 上 的 概率 分 布 
已 = [pi,*** ,pyj 使 得 
limP'sP™ =P/ (49) 
对 所 有 的 m= 二 0，1，… 都 成 立 。 . 
定理 13 设 … ”““ 近 齐 次 有 限 马 氏 链 , P' 是 相应 的 定义 在 5 上 的 概率 分 布 , 则 对 一 切 
na 一 1，2，… 都 有 
limP' Pp™ 二 P'。 (50) 
证 当 n=1 时 ， 由 X 是 渐 近 齐 次 的 定义 便 知 结论 成 立 。 
现 作 归纳 假设 ,对 正 整 数 % 结 论 已 成 立 ， 由 此 
lim PaPe+ 一 lim P'sp® mt 一 lim [Ll PP® 一 Pi) onaP + PintsP = limP'ntP = P', 
即 结论 对 4 十 1 也 成 立 ， 由 归纳 法 便 得 本 定理 。 
定理 14 有 限 马 氏 链 X 如 果 是 渐 近 平稳 的 则 必 是 渐 近 齐 次 的 。 
证 因为 对 任何 z=0，1，…，z 一 1，2，… 有 
PPetD 一 Pond 4 [P'sP®™ 一 疡 ] (51) 
由 假设 lim =P ,limL P'sP™ 一 P'] = 0. 于 是 对 式 (51) 两 边 令 n->oo， 便 得 
lim PP 一 limP'ntP = P', 
依 定 义 半 是 渐 近 齐 次 的 ， 证 完 。 
注 一 般 地 说 ， 定 理 14 的 逆 命 题 不 真 〈 参 看 定理 16) 。 
定理 15 有 限 马 氏 链 闵 是 强人 遍历 的 充 要 条 件 为 XX 是 弱 遍 历 的 且 渐 近 平 稳 的 。 
证 必要 性 。 如 果 X 是 强 遍 历 的 ， 依 强 遍历 的 定义 及 其 注 1 有 limpsCmsm 十 2 二， 
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ij E 5m 二 0.1 记 和 4 二 [mn],e = [1,…,1J ， 用 矩阵 来 表示 前 式 成 limwP% 
二 ex ，、 注 意 到 # 是 概率 分 布 ， 从 而 
limm .PY = Nem 一 ml， m= 0,1,*, 

这 表示 X 是 渐 近 平稳 的 。X 弱 遍 历 显 然 。 

再 证 充分 性 。 如 果 X 是 弱 遍 历 的 且 渐 近 平 稳 , 相应 的 概率 分 布 是 P' = [pi,…?x] ， 则 
对 任何 i, jES 

lpsCmsm na) Oo DppsCmmt | = | DRLpsCm m+n) — puCm,m + 1)]| 

AES hi€ES 
oO NPCmm 二 Oo pmmt+ | m0 m= 0,1,, 
AES oo 

Dj ppyCmsm 十 na) 一 一 pi JE 93， m= 0,1,.。 

iE8 oo 
综合 上 面 两 式 即 得 

limpis(m,m + 1) = pj;s, m= 二 0,1, ,5,) EE So 

即 X 是 强 遍 历 的 。 证 完 。 

定理 15 表明 强 遍 历 性 与 弱 遍 历 性 的 差异 在 于 具备 不 具备 渐 近 平稳 性 。 

定理 16 ”假设 存在 某 正 整 数 w 和 正 数 。， 使 得 cCsPeo) 之 a 对 一 切 m=0，1，… 都 成 
立 ， 在 此 假定 下 ， 渐 近 平 稳 性 与 渐 近 齐 次 性 等 价 。 

证 因为 已 有 定理 14， 所 以 只 要 证 明 在 所 给 的 假定 下 由 渐 近 齐 次 性 可 导致 渐 近 平稳 
性 。 依 渐 近 齐 次 性 的 定义 ， 存 在 概率 分 布 已 = [?p,…，?x] 使 得 

limP'nP =P', (52) 

先 考 虑 mw。 二 1 的 特殊 情形 。 令 zm) 二 P' 一 P'sP, 机 二 0,1,"…, 由 式 (52) 及 dd'(m) 的 规 

定 知 : 


limad(Cm) = 0,d Gn)e = 0,m = 0,1,., (53) 
其 中 e = [1,…,11WN 维 列 向 量 。 又 令 Y 维 行 向 量 
a'm(n) 一 Pinat+s—iP 一 PP ， 所 一 0,1,*,n 一 1，2，…， (54) 
出 om(n) 与 ad! (m) 的 规定 不 难 验 证 : 对 任何 2 一 0， 1, ,1 二 1], 2, 
a'nne = 0, arnt 1) =a np dnt no 1),+P。 《55) 


以 as(n) 和 0Cn) 分 别 依次 记 维 列 向 量 (ao 和 dm 十 4 一 1) 的 各 分 量 的 绝对 值 之 和 。 由 
式 (54) ， 

dnt 1) = PonP— PoPetd 一 [P — P'sP®] ,+sP, (56) 
注意 到 P',P" 也 是 一 概率 分 布 记 作 P,P == [q 避 ,… ,49%] 将 此 式 代 入 式 (56) ， 并 利用 式 
(11) 及 假定 可 得 . 


三 
on 二 1) = DD pm gpsGn 十 十 2 十 1 


| i 
< 3 一 时 1 — antsP)) 


< Sy — 91 — (57) 


j=1 


由 en) 与 WCm 十 n 一 1) 的 定义 知 : 
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aa) dm+n om 1) =P'— Pp", 
从 而 P' 一 P'P% 各 分 量 的 绝对 值 之 和 ») Ip; 一 9 名 | 等 于 wo 十 Wm 十 一 1) 各 分 量 的 
绝对 值 之 和 。 故 
> ip; — gq | < me) 十 bo， 


将 上 式 代 入 式 (57) 得 | 

ak 十 1) 委 [an) 十 iD)]( 一 co)， m= 0,1,， R= 1,2,.， (58) 
因为 式 〈53) ， 所 以 对 任何 mm 一 0，1，…， limdo(a) 二 0， 从 而 由 式 (58) 有 

lim supao (n) 委 (] 一 c) limsupa, (1) , m= 0,1,., 
由 此 可 见 limsupan(n) 一 0,m = 0,1,.. 这 意味 着 liman(n) 一 0,m = 0,1,…，。 叉 因 假设 式 
《52) ,那么 从 定义 式 (54) 得 limP'.PW = P' ,对 一 切 m 二 0, 1，… 都 成 立 , 即 是 渐 近 平 
稳 的 。 
再 考虑 一 般 mo 之 1 的 情况 。 对 一 固定 的 m(= 0,1,…)，, 讨论 下 面 的 随机 和 矩阵 
Q 一 wpPeo， 【一 0)1…， 

根据 假定 w(@D) so 一 0,1,，…。 根 据 渐 近 齐 次 性 的 假设 及 定理 13， 便 有 limP’Q, = P' ,于 
是 由 前 面 已 证 的 特殊 情形 知 : 以 8.,! 二 0,1,… 为 ! 时 一 步 转移 概率 矩阵 的 马 氏 链 是 渐 近 平 
稳 的 。 依 渐 近 平稳 的 定义 ， 对 前 面 的 概率 分 布 P 便 有 


P' = limP'Q0,-1 = limP'nP™o, (C59) 
再 次 利用 渐 近 齐 次 的 假设 及 定理 13， 还 有 
limP rasP = Pr, k= 1,. ,nm, | C60) 


于 是 由 式 (59) 及 式 ‘60\ 
limP'wP ot = limP'sP™o 二 
= lim 上 已 Pen —P' ) n+wP™ 十 PintmP™® ]= P'。 
k= 1, ,no, 《617 

因为 式 (61) 及 mn 取 法 的 任意 性 ， 定 理 得 证 。 

定理 16 是 用 遍历 系数 <(P) 刻画 了 渐 近 平稳 性 与 渐 近 齐 次 性 之 间 的 差异 。 

现在 能 够 给 出 强 遍历 的 充分 条 件 了 。 

定理 17 设 X 是 有 限 马 氏 链 , 存在 极限 lim。P , 记 此 极限 为 P, 而 且 P 为 混合 矩阵 , 则 
和 是 强 遍 历 的 。 

证 因为 忆 是 混合 的 ， 依 定义 存在 正 整数 mw 使 得 <(Pe") > 0 。 由 假设 


lim suPeo 一 lim (PnriP'ernt iP) 


一 (limeP)(limarie) (Jimoro- 呈 | 

= Pr 
又 因 遍 历 系数 a(P) 是 P 中 元 素 的 连续 泡 数 , 因此 必 存 在 正 整 数 mw。 和正 数 a, 使 得 所 有 的 
宇 mo, 都 有 wa(Cspeo) 三 ea>0。 由 C-K 方 程 , 对 任何 mm 一 0, 19oPoot 一 Po orooPoo。 
利用 定理 5 得 
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1 一 aCPpoorm) < [1 一 aCs Peo)j[1 一 aCerwpPe o)] < 1 一。 
套 对 任何 mm 一 0，1，…， 都 有 acCPe+w) 盖 0。 由 此 并 依据 定理 11 可 断言 X 是 一 致 弱 
遍历 的 。 
既然 P 是 NXN 随机 和 窍 阵 ， 必 有 相应 的 平稳 分 布 r， 即 mP 了 =m 。 再 由 假设 条 件 知 
limm wf 一 nmP= 7, 
依 定义 X 是 浙 近 齐 次 的 。 最 后 由 定理 16 与 定理 15 即 可 断言 X 是 强人 遍历 的 。 证 完 。 
定理 18 设 有 限 马 氏 链 X 是 浙 近 齐 次 的 ， 并 满足 定理 12 的 假设 条 件 ， 则 X 是 强 凯 历 
的 。 
证 在 所 给 的 假设 条 件 下 式 (44) 成 立 , 进而 应 用 定理 16 与 定理 15, 即 得 要 证 的 结论 。 
与 一 致 弱 遍历 性 相应 的 也 可 考虑 附加 一 定 限 制 的 强 凯 历 性 。 称 有 限 蕊 氏 链 X 是 一 致 强 
遍历 的 , 当 且 仅 当 对 无 论 什么 状态 i, jE 8 及 任何 非 负 整数 m, 都 存在 极限 limpiCm,m 十 #)， 
而 且 此 极限 与 i、 mw 无 关 ， 记 作 ;，、 此 外 
limpsm,m 十 1) = no， i,jtE 8S, (62) 
关于 m= 二 0，1，… 一 致 地 成 立 。 
由 定义 ， 显 然 从 一 致 强 遍历 性 可 导致 一 致 弱 遍历 性 ， 但 逆 命 题 一 般 示 必 成 江 。 
设 有 限 马 氏 链 xX 是 一 致 强 遍历 的 , 又 状态 罗 使 ;之 0, 那么 由 式 (62) 及 5 为 有 限 集 ， 
可 断言 必 存 在 某 正 整数 s»， 使 得 对 一 切 n==0，1，…，iE5S， 都 有 pi Casm 十 m0) 之 mo]2 
二 9 > 0 ,虽然 这 条 件 并 不 是 一 致 强 遍 历 的 充分 条 件 , 但 是 再 附加 上 一 定 的 条 件 就 可 保证 一 
致 强 遍历 性 成 立 。 
定理 19 设 X 是 状态 空间 为 8 的 有 限 马 氏 链 ,对 任意 给 定 的 正 整 数 *， 令 
{1 一 ,ea p， Dp. ,2 pyGm 十 ma 十 2 十 1 一 pr 十 nr 十 2 十 1)|， (63) 


如 果 非 负数 项 级 数 27a. 收 化， 并 且 存 在 某 正 整数 m 与 状态 h(E 8) 使 得 对 任何 n=0，1， 


“EN, 都 有 Pi mom 十 mo) 之 4 0 成 立 ， 则 XX 是 一 致 强 遍 历 的 ， 而 且 关 于 由 式 (62) 
所 确定 的 厂 ，JGS 有 


| pm ,mn 十 24) 一 wj| 寺 a .| (1] 一 四 上 二 十 2 C64) 
a 


对 所 有 的 m= 二 0，。，1]， ,Rn 二 R60 十 1，no 十 2，、*** 1%， jES 都 成 立 。 其 中 | 二 | 是 不 超过 二 的 最 
大 整数 。 

证 ”对 任意 给 定 的 i 和 ES，{ 有 Cn，m 十 1)，m 一 0,，1，…} 是 有 界 数列 ,那么 必 有 收 
敛 的 子 序列 ， 又 S 是 有 限 集 ， 于 是 {nmP sh a 4， ls} | 必 有 收 敏 的 了 序 下 《wm 一 0,1，…} 9 


其 极限 矩阵 记 作 P。 又 因为 假设 趟 (63) 确定 的 级 数 > 。 收 你 ， 从而。 一 -0， 由 此 及 定义 
式 (63) 恒 知 极限 lim -P 存在 并 等 于 P， 从 而 


lim ,Po = lim, mPntiP sta—iP 


"oO 


一 Tim maP lim w+IP soo? im e+ 一 :到 
Mo Lm 


7 
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= Po 。 (65) 
由 假设 pCmym 十 0) 宇 4 > 0,iE58, m= 二 0，]，…， 及 式 (65) 可 知 Pr 的 第 加 列 元 素 余 
大 于 或 等 于 a， 篆 为 正 值 , 故 马 * 是 马尔 科 夫 和 矩阵 。0 过 MP 委 alP%)， 而 了 是 混合 害 阵 ， 
于 是 根据 定理 17， 即 可 断言 X 是 强 遍 历 的 。 
现在 证 一 致 性 。 由 C-K 方程 ， 对 任何 /=2， 3，…， 有 
1z5(mw 十 ao 十 十 站 一 pm 十 am 十 3 十 站 | 
= | >» [palm 二 nm 十 4 十 DpvGa 十 za 十 1 十 2 十 四 


#ES 


一 Ba 十 2 十 2 十 pc 十 2 十 1 十 a 十 个 J | 
一 | > [paGm 十 nm 十 RR 十 1) 一 palmr 十 nmm7 十 Rn 十 1)] 


Es 
pulCm 十 2 十 1 十 za 十 四 
十 > Lp Cm 十 十 1m 十 RH 十 站 一 G0 十 RnR 十 1 十 十 0)] 
ES 
palm” 十 mn 十 nn 十 1)|。 (66) 
对 na， 1 一 1， 2， “ey 令 


DD) 一 sup >)|mGw 十 am 十 2 十 D 一 机 (ww 十 mao 十 # 十 站 |， (67) 
!ESIm mh ES 
由 式 (66) 便 得 


ol) all) 十 asHiC 一 1)， {= 2,3,"*， (68) 
比较 式 (63) 与 (67) 知人 1) 一 oa 一 1,2,… ,于 是 反复 应 用 式 (68) 得 
3 十 ! 一 
aDE Dm l= 1,2,., (C69) 


再 应 用 C-K 方 程 ， 对 任何 整数 (:w 委 !<*， 有 
Dim mm 二 8) 一 pyCn’ mn 十 2) = >》) [yan em + DD — palmr sm’ + D1 
XE 9 


pyGw 十 bm 十) 十 >) [pw 十 六 十 由 


res 
-pom 十 1 十 ja ,nr 二 1)。 (70) 
注意 到 由 假设 条 件 ， 对 任何 2 一 0， 1, +, d==No, no 十 1]，***， 及 任何 5ES 有 
Pyomim 十 及 一 >7p(ool 十 一 ap 十 1 一 mo 十 站) 宇 a， 


上 和 3 


因此 ， 对 任何 m'， mm” C=0, 1, ,lo, fo 十 上 ，……， 及 任何 5 人 
DY (paGm 十 有 一 本 Goal + OD))+ 


AES 
一 一 >) (pum 二) 一 pam ym 十 人 站)" 过 1 一 a。 (71) 
[1 
对 任何 正 整 数 4 及 任何 状态 JES， 记 
P37) = inf plm,m + £2), plasj) = Sup Psym 十 2)。 {72) 
m0ES 本 六 0 二 


考察 式 (70) 右 方 的 两 个 和 式 ,由 式 (71) 与 式 (72) 
2 [paCm ,mm 十 站 一 Pak ,In 十 DD) pm + ym + n) 
ES . 


< >) [paGr sm + DO— palm’ ym’ + DJ]+ phn — 4,)) 


MES 
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十 >) fpaCm sm 十 站 一 了 CO 十 及] phn 一 已 
ES 


委 (1 一 0C2G m1) — pC— 1,N)), (73) 
由 式 (67) 与 式 (69)， 


| >) [py Cm + Lm 二 #) C— pCm* 二 Lm’ 十 1) jpaCm? ,mY 十 D| 
#ES 
过 >») >， [pwn 十 1 十 2 一 0602 二 bm 十 faaCn ,mY 十 人 DD 


JES ES 
Cam—) Dpa Cn’ sim 十 0) 委 Su < Da, (74) 
将 式 (73)、 式 (74) 代 入 式 (70) 中 得 ~ ~ 
Pn) — p67) Ra Om ?61)) 十 Da, (75) 


对 任何 整数 im 委 !<x， 及 任何 状态 jE5 都 成 立 。 对 ?Ga 一 六 力 一 2 一 2 六 又 可 应 用 
式 (75) ， 将 结果 代入 式 (75) 中 ， 如 此 类 推 ， 最 后 便 得 式 
HD 2D EA od od]. 


<a—olil (afd) (76) 


对 任何 整数 1 ns 委 '<2 及 任何 JS 都 成 立 。 既 然 对 任何 mm 一 0，1,，…，n 一 1，2,，…， 任 何 
i jE€5, pylmsm 十 1) 与 显然 都 位 于 27 与 za,7 之 间 ， 于 是 由 式 (76) 便 得 式 (64)。 
一 致 性 也 因此 而 得 证 ， 定 理 证 完 。 

显然 , 在 齐 次 的 情况 下 , 讨论 遍历 性 的 一 致 性 是 毫 无 意义 的 。 试 问 : 在 齐 次 情形 下 , 强 
遍历 性 与 弱 遍 历 性 之 间 有 何 关 系 呢 ? 

定理 30 设 X 是 有 限 齐 次 马 氏 链 , 即 ,P=P, m=0，1，…， 则 强 遍 历 性 与 弱 遍 历 性 等 
价 。 

证 ”只 要 证 明 由 弱 遍 历 性 可 导致 强 遍历 性 即 可 。 有 限 齐 次 马 氏 链 X 必 存 在 平稳 分 布 r， 
即 wP=m， 利 用 C-K 方程 与 归纳 法 得 zw 疡 =r ,rn 一 1，2，…， 这 表示 X 是 渐 近 平稳 的 。 
再 根据 定理 15 知 X 是 强 遍 历 的 , 证 毕 。 

当然 ， 关 于 马 氏 链 的 渐 近 性 质 的 研究 并 不 只 限于 遍历 性 方面 的 探讨 ， 还 有 其 它 方面 的 
成 果 ， 这 里 不 再 一 一 列 出 。 最 后 ， 仅 仅 不 如 证 明 地 给 出 有 关 非 齐 次 有 限 马 氏 链 中 心 极限 定 
理 的 一 个 基本 结果 ， 作 为 本 章 的 结束 。 

定理 2155 对 和 任何 正 整 数 。 设 Xo(a)，…，,X. (na) 是 以 .P(x) ,m= 二 0,1,… 为 转移 概率 
和 矩阵 的 非 齐 次 有 限 马 氏 链 X(Cna) 的 开头 的 4 个 随机 变量 , 又 设 ,l= 二 0,…,n 一 1 是 定义 在 
马 氏 链 X() 的 状态 空间 上 的 实 值 函 数 。 令 

了 一 Sp ox)), 1 1,2,， 


l=0 
& = min aGP(n)), n= 1,2,。 
ORi<a—! 
如 果 函 数 ff 一 致 有 界 ， 方差 Var[f (Xn)) ] 之 ec 之 0,l = 0,..,n —1,n= 1,2,., 而 且 
limon R=: co ， 则 
了 7。 人 EC(T.,) 


1 ”一 12 
z| 一 一- dt， (77) 
Via /二 | oo 


limP 
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对 所 有 实数 < 都 成 立 。 一 般 说 来 ， 如 果 lima.n'“ <oo， 此 结果 不 再 成 立 。 
关于 齐 次 马 氏 链 的 大 数 定律 与 中 心 极限 定理 可 以 参看 EE. 定理 5 及 杜 布 (Doob) 的 经 
典 论 著 [26]。 
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对 于 马 氏 链 X, 当 它 的 转移 概率 py(i, jE 5) 未 知 时 , 或 转移 概率 是 一 未 知 参数 0 的确 
定 应 数 p(9) 时 ,人 们 自然 就 要 根据 对 六 的 实际 观测 所 得 到 的 数据 , 即 样本 , 作 注 p, 或 9 的 
估计 或 6 。 并 希望 这 些 估 计 By、6 是 在 一 定 意义 下 具有 良好 性 质 的 最 佳 估 计 。 又 当 我 们 轿 
要 判定 : 马 氏 链 的 未 知 转移 概率 矩阵 是 否 等 于 所 指定 的 随机 矩阵， 转移 概率 pi 是 否 与 i 无 
关 ， 多 个 马 氏 链 是 不 是 同 质 的 ， 马 氏 链 是 不 是 重 的 等 等 这 一 系列 问题 时 ， 仍 要 根据 的 
样本 通过 假设 检验 、 以 求 合 理 的 具有 一 定 可 舍 程 度 的 判断 。 上 面 所 提出 的 关于 马 氏 链 的 统 
计 推 断 论 题 ， 在 马 氏 链 的 理论 研究 与 实际 应 用 中 是 极为 重要 的 。 早 在 六 十 年 代 就 受到 了 人 
们 的 关注 ， 至今 已 发 表 了 不 少 的 文章 与 论著 ， 本 章 仅 对 主要 的 基本 结果 作 一 简要 介绍 。 给 
出 方法 、 思 路 、 结 论 ， 而 不 追求 严格 的 数学 论证 。 


$ 1 最 大 似 然 估计 
没 X= {Xo、X,，…) 是 有 限 齐 次 遍历 的 马 氏 链 ， 其 状态 空间 8= 人 1，…，N}， 转 移 


概率 矩阵 了 == [%]， 初 始 概率 分 布 9; 二 P(X 二 站，jE 5， 平稳 分 布 # 一 {m,n} 


2 一 ] ， 了 | > 0， Nj 二 Damp, Es, (1) 
i€ES 


名 
lim p= ij€S, (02) 
1. 转移 概率 的 最 大 似 然 估计 
先 考虑 非 参 数 情 形 。 令 (mm， = ，…， 必 是 和 的 长 度 为 a 十 1 的 一 个 实现 , 那么 , 基于 此 
样本 的 似 然 函 数 是 
二 一 gu TT a 7 下 Pi (3) 
其 中 心 是 在 并 的 样本 (zu z1，…， 忒 ) 中 ， 从 状态 ;经 过 一 步 转移 到 状态 的 频数 ， 显然，N? 


个 转移 频数 集 {mw} 构成 了 转移 矩阵 P 的 一 个 充分 统计 嫩 。 
为 求 上 关于 psGi，jE8) 的 最 大 值 ， 将 式 (3) 两 边 陪 对 数 得 


log L := log q+ > log Zi， {4) 
证 
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其 中 ，{ps} 受到 式 1m 一 1， i€E5 的 限制 ， 因 而 {py) 对 每 个 给 定 的 5ES)， 实 际 上 只 有 


NN 一 1 个 自由 变量 ， 现 在 取 mm，…，zw-! 为 自由 变量 ， 而 pw 一 1 一 人 ms， 将 式 (4) 两 边 分 别 
对 Doy IES， JES3 一 人 {N) 求 偏 导 得 
,i€s, jE€S—{N), (5) 
令 式 (5) 左 方 为 零 ， 则 有 
TijBiv = Minpirt EE 5, JES 一 {N}, (6) 
将 式 (6) 两 边 对 jE 8 一 (N}) 求 和 可 得 


Nl Nt 
RjPiN = Wy Dpy = WxCl — pix), ES， 


j= jl 


由 此 可 见 ， 若 记 有 一 2m 则 


=, i€S, (7) 
把 式 (7) 代 入 式 (6)， 便 得 p 的 最 大 似 然 估 计 
= jES, (8) 


nh, 
在 导出 上 面 的 估计 值 的 过 程 中 , 我 们 所 假设 的 X 的 初始 概率 分 布 {2， JE S} 并 没有 提供 
关于 转移 概率 {ps，i，jE€ 5) 的 任何 信息 。 无论 如 何 ， 对 于 大 的 *， 式 (4) 中 右 方 第 一 项 的 
作用 可 以 忽略 不 计 。 

其 次 ， 再 考 嵌 参数 人 情形， 假定 转移 概率 是 某 未 知 参数 9= (0 ，…，4) 的 已 知 函数 
7;(0)，9E R，R' 是 + 维 欧 氏 空间 。 那么 , 参数 8 的 最 大 似 然 估计 可 通过 求解 下 列 方程 组 得 
到 : 

GlogL 一 


a0 0， 7 一 1 (9) 
即 
N 
vA _ 1 389) 1 _ 
PA pC0) 90, J 0， 7 一 1…。 (10) 


然而 , 9 的 非 平凡 充分 统计 量 的 存在 性 不 是 那么 简单 易 得 的 。 在 单个 参数 的 情形 下 , 已 给 出 
了 该 参数 的 充分 统计 量 存在 性 的 充 要 条 件 。 


因为 状态 空间 S 是 有 限 的 , 而 且 pw==1 一 Zn, i=1,，*…， 入, 因此 我 们 能 够 把 非 参数 
傅 形 当 作 为 具有 NCN 一 1) 个 参数 {pa ，…，piw-1，i 二 1，…， 入 } 的 参数 情形 的 特例 。 但 是 
宁愿 把 它 作 为 非 参 数 情形 是 方便 的 。 

试问 上 面 所 给 出 的 最 大 似 然 估 计量 的 渐 近 性 质 如 何 , 是 否 具有 相合 性 和 渐 近 正 态 性 .对 
此 下 面 将 作出 明确 的 回答 与 论证 。 

为 简单 起 见 ， 假 定 在 一 个 很 长 的 时 间 内 ， 过 程 持续 不 断 地 进行 ， 即 假定 马 氏 链 是 平稳 
的 。 那 么 , 可 假设 = 二 P(X6o 二 让 = ,jE5。 从 而 ， 对 任何 非 负 整数 sg” 二 P(X,= 门 = 有 zj， 
jES。 这 里 需要 注意 的 是 ， 因为 平稳 分 布 {mw;，jE 5) 满足 方程 
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Nj = > no j= 1 ,N, 
所 以 假设 % 一 五 ，JES 就 包含 有 关于 转移 概率 ps，i,jE 8 的 信息 。 因 而 ， 在 前 面 假定 初始 
概率 分 布 {4;} 没有 提供 关于 转移 概率 ps} 的 任何 信息 的 前 提 条 件 下 ， 所 得 到 的 ps 的 最 大 
似 然 估计 六 一 到 ， 严 格 地 说 ， 在 目前 的 情况 下 ， 它 不 再 是 mw 的 最 大 似 然 估 计 了 。 但 是 ， 对 


于 大 的 正 整 数 *， 对 数 似 然 画 数 


log L = log mm, 十 > log pijs (C11) 
并 受 .上 式 右 方 的 第 二 项 的 控制 或 支配 。 所 以 我 们 可 以 写 
log L > ws Pijs (C12) 


容易 看 出 : m= 2 6 ，iES。 于 是 由 X 的 平稳 性 假设 有 
EON) 一 Spa = Spex. = Sn = diy iE€s 
故 a| 3| 一 Tiy tA。 (13) 
依 假设 , 现在 论 及 的 X 是 有 限 齐 次 平稳 遍历 的 马 氏 链 , 而 且 式 (13) 成 立 。 那么 , 参见 下 . 定 
理 5 或 文献 [10] 中 的 循环 事件 理论 ， 便 知 : 对 任何 ;E S， 当 ->oo 时 ， 字 依 概率 收敛 于 


| 
僻 
记 为 Pilim | 忆 = 中 壮 =Nh, iES, 
,PP . 
或 ， 也 一 S| =n, i€ES, (14) 


现在 可 证 下 列 关于 Ph;，i，jE5 的 渐 近 分 布 的 重要 结果 

定理 1 令 $= (p11， Pil2*s wy Piw» “""y Pri» Pa29 °°» pxw)' 是 Nx!1 参数 向 量 ， ¢= (pu, 
P29 ww)! 是 相应 于 的 和 ?XI 估计 向 量 , 其 中 二 n/m， i 了 
ES， 则 v nmCG 一 和 在 "一 co 时 ， 依 分 布 收 全 到 NY’ 维 正 态 分 布 YAw(O,，V)， 记 为 


VEC 一 和 区 


其 中 V 是 WXN? 协 方差 矩阵 ， Y 的 第 行 第 v 列 元 过 Ow >, v=]1, '"*, N’, 由 下 式 给 出 : 
如 果 4=G 一 DN 十 j, v= 二 CY 一 DN 十 7 说 说 ， 户 二 1 ，…，NW， 则 


<- CO Y) 。 (15) 


1 
Cu SS Op = 元 {6 (Ojy pis 一 Dibey ) } 9 (16) 


这 里 6= 1 2 
证 ”我们 仅 给 出 证 明 的 关键 步骤 。 对 于 固定 的 i, w; 是 随机 的 ,在 w 取 一 定 值 的 前 提 下 ， 
随机 向 量 (w% ，nz，…，mw) 的 概率 性 质 与 服从 多 项 分 布 的 随机 向 量 相像 ， 即 
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0， ZN 开罗 一 2 一 一 Ziy 
PR 一 2 一 Xv) = R >. > (17) 
or * XN 一 中 一 oa 一 ”一 XN—1 » 
Bh) = mp Dl) = mpy(l — ps;), i jE S, (18) 
Cov (Rijstia) 一 一 mpipa, isjok EB， ;关上 (19) 


当 相当 大 时 ， 随 机 的 wx 可 用 一 个 固定 的 量 [am] 即 互 (ww) 的 整数 部 分 来 代替 。 于 是 式 
(18)、(19) 可 改写 成 


Bl) 2 [nr pi, Dam) 2 [an, jp C1 — pi;), (20) 
Cov (nys ne) SC— [ni Jpipa 。 iyjkE S, jk (21) 

作 随 机 变量 : 
U = YH les i,j € 5, {22) 


" AT 
由 式 (20)、BC0i) 近 似 地 看 作为 零 。 又 注意 到 对 不 同 的 i U5 与 ty 相互 独立 ， 页 当 ;im 
时，Cov(U5，DUvy ) 守 0。 当 is=z， 而 j 尖 ?7 时， 由 式 (20)、(21) 
Cov (Do Us BUU ) 


1 
一 mr {Blainiy )— [nr jpz BCno) 一 [ar JpisB Ci ) 十 [er J? ps py } 


1 -oa 
TP) (23) 
当 1=Y#，j 一 了 7 时， 由 式 (20) 得 
; 1 、 人 . 
Cov CU, Uy) 2 mR) 入 P| 一 pj)。 (24) 


综合 以 上 讨论 的 结果 式 (23)、(24) 得 


Ow py Oj ~ Pry) 
LL ” 


因此 Un， Liz Uins ***» Unis Uwzs, **:, Usxy) 在 woco 时 是 联合 渐 近 正 态 的 21， 渐 近 
分 布 是 均值 为 零 ， 协 方差 阵 为 | 所 Pa 一 ze4 | 的 正 态 分 布 。 
能 够 证 实 : 对 任意 的 i，jE€ 5S 有 


, 
i ET 


Cov Vis Uy) S bjsVsy ES。 (25) 


让 二 这 这 C29) 

这 样 ， 对 任何 ;:，;E 8, 令 
Wy 2 1) ) 
UB ~ VR 9 Wy Vn (py Pi) n/n 3 (27) 


由 式 (26) 及 式 (14)，, 并 利用 依 概 率 收敛 及 依 分 布 收 钱 的 性 质 吕 , 便 知 态 与 UV 有 同样 的 渐 近 
分 布 ，W; 与 3 有 相同 的 活 近 分 布 。 进 而 ，CUR， UB Uy UR Vj， USN) 与 
(Do Uiws rs Um Uni，"…。 vvvy) 有 相同 的 渐 近 联合 分 布 , 而 OV, ea， ， Win， 
WW Vs 有 相同 的 渐 近 联合 
分 布 。 定 理 得 证 。 

在 参数 的 情形 下 ， 最 大 似 然 估 计 的 渐 近 分 布 可 踪 述 如 下 、 先 考虑 单 参数 情形 。 

定理 2 令 8 是 下 列 似 然 方程 的 相合 根 : 
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人 my daCO _ 0 
人 


EC d0 
假设 满足 下 列 正则 性 条 件 : 
GD 对 所 有 的 i，jE8，ps(9) 一 p(n) 副 合 有 9 一 7 
(ii) 对 任何 i，jE 5S，ps(9) 容 有 在 真 值 % 处 关于 0 的 连续 二 阶 导 数 ， 
Gi) 至 少 有 一 个 | 2 和 |， 是非 零 的 。 
那么 ， 
， d,f. | 
Va 0) os |0,Fy) > 
__ VY mC00) {dps C0) 
其 中 ， 1(0) = a | do | 


了 是 费 歇 耳 (Fisher) 信 息 函 数 ， 在 式 (30) 中 仅 对 正 的 pC06) 项 求 和 。 

定理 2 的 证 明 再 次 利用 了 关于 参数 情形 下 多 项 分 布 的 最 大 似 然 估 计 的 类 推 结果 "中 。 定 
理 2 的 结论 可 以 推广 到 多 个 参数 的 情形 ， 如 下 面 的 定理 所 述 。 

定理 3 令 g=(9，…, 90) 是 在 # 维 欧 氏 空间 中 取 值 的 上 维 庙 量 . 以 下 = [owj] 表示 kX% 
费 欧 耳 信 息 矩 阵 ， 其 中 


{m00) {9 ps;(0) ?p20) | 
Ow 三 > (ml 3 0 ,| 0 ,| » (31) 


g = (00，…，bo)， 并 假设 下 是非 奇 异 的 ,那么 ， 当 ao 一 co 时 Ya C6 一 8) 依 分 布 收 钱 于 
NO, 一 即 


TO 00) Er OF-'), (32) 
及 一 > OO 


2. 序列 相关 的 渐 近 分 布 


序列 相关 是 对 观测 序列 的 逐个 序 对 之 间 相 依 性 的 一 种 自然 的 度量 。 在 本 段 中 ， 我 们 定 

义 了 状态 空间 8 为 {1,，…, 入 ) 的 有 限 、 平 稳 、 遍 历 、 章 次 马 氏 链 X 的 自 相 关 ， 然 后 提出 

了 它 的 一 种 自然 的 估计 量 ( 一 阶 样本 序列 相关 ) ， 还 推导 出 此 估计 量 的 渐 近 分 布 ， 并 与 最 大 
似 然 估 计量 的 渐 近 性 质 作 了 比较 。 
因为 假设 X 是 平稳 的 ， 所 以 有 

gf 一 P(X = =, n= 0,1, 1i€E Ss。 (33) 

马 氏 链 X 的 一 阶 自 相关 Pp 由 下 式 定 义 ， 即 
Cov CX,» Xt+1) 


Pp 二 DOCKX.) » 4 一 0 1，…， (34) 
仍 因 X 是 平稳 的 ， 故 p 与 4+ 无关。 若 记 
有 (7 = POX, = i Xt = DD = Mpby, i jE SS, n= 0,1,, (35) 
显然 2 PG， D=m, iiES， Sr, D=n, jES, (36) 
JES ES 


而 且 ， 由 式 (34) 定 义 的 自 相关 p 可 写成 下 式 : 
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DFG ND — ( ViPG 力 ] 


P= 2 一 天 一 一 ， (37) 
DFGD — ( Dir) 
jES jES 


将 式 (37) 右 方 记 作 9CPG， 力 )， 
设 (z1，…,z) 是 的 长 度 为 4 的 一 个 实现 基于 这 些 观测 值 之 上 的 一 阶 ( 循 环 ) 序 列 相关 
RB 定义 为 
> (zu — (zs 一 人 
R= 于- 一 一 一 一 一 一 ， (38) 


Sy (zw 一 z)? 


其 中 z= mn， 而 且 z+: 由 Zi 替代 。 以 由 记 在 修正 样本 (zi， “> Tey z)) 中 ， 由 状态 i 转移 
到 状态 ; 的 样本 转移 频数 。 于 是 ， 


Di=a Dy= Dm=m, i€s, (39) 


jES ij€8 tts 
2 


其 中 是 在 样本 (zi1，…，z) 中 状态 i 出 现 的 类 数 。 著 记 (i, 四 二 导 ， 由 式 (38)、 式 (39) 及 
式 (37) 知 


鱼 
] 了 -yz 
— TnTntl -一代 
R= Wy 纳 一 ] 


一 一 (GD)。 (40) 


因为 


，， P ，. 
nA nm i IED, 
4 


以 及 函数 9g 的 连续 性 ， 便 可 断定 下 面 的 结论 : 


LL 。 Ry Pp 


DD) = PD) ij€ S$, (41) 
R= g(Fi,))) 9g(F(i,))) = po。 (42) 


n> cc 
定理 4 由 式 (38) 定 义 的 估计 尺 是 由 式 (37) 定 义 的 自 相 关 2 的 相合 估计 量 。 
为 了 考察 R 的 渐 近 分 布 ， 需 要 先 给 出 下 面 的 结果 。 
定理 5 邻 FG， 乃 一 PCX 一 让 Xi 一 旋 一 my，n 一 0，1，…，PGi D = i, jES, 
T=(F(, DD), 2, FO, N), oe, FON, 1), os, FON, N))', T= C1, 1), +, FU, 
和) CNN) 0 1 …, 工 与 ,和 绪 为 YX1 向 量 。 则 


VRT, 一 T) Lt Ny(0, 5)), (43) 
及 


— OO 
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协 方差 矩 阵 2 中 的 元 素 由 下 式 给 出 ; 对 任何 i，j, Yj ES 


。 1 
uv? = lim CV Cm, ny ) 
0 


=mpy(0w djy — bry ) 十 pisprs CiCp mr Cy) 9 (44) 
去 1， 24 一 
其 中 ow= 2 pi,), .=| u, VES, 
mm 0， wv, 


证 定义 随机 变量 
; 1， 人 如果 XX。 二 i,Xw+ti = j， 
Zr 一 | 


| 


0， 其 它 ， 
mn 二 1,2, ,ntsj EE 5， Xt = Xi (45) 
那么 EBC")—= PCX, 一 1 Xn+t1 = j= Apij, m=1, 2， 9 Rs 1 J€ES, (46) 


1 5S) 1 
(Cz) 一 Elz zf ) ) 一 — ND) 
Vn "=l Vn Vn "=l 


= 
= Vn FG, DPD—FGi, DD), i, jES, (47) 
将 有 限 遍 历 齐 次 马 氏 链 的 中 心 极限 定理 5 应 用 到 定义 在 逐个 状态 对 上 的 随机 变量 序列 
2 ， 仍 一 1]，2，… 上 ，?1， jEs, 便 可 发 现 
二 SC — BE)) = VRC — FD) 


者 二 


-Ar(O， lim Dn)), i,j ES。 (48) 
RR— 


现在 ， 将 马 氏 链 的 中 心 极限 定理 用 到 每 个 线性 组 合 /0 zg ,ml1，2， ,上 ， 便 证 明了 


( Vn (FCi, 四 一 下 (2 7))， 8 JEAS)} 的 任 一 线性 组 合 当 nr~~co 时 都 是 渐 近 正 态 的 ， 因此 ( V 
(F(1, 1)—F{(1, 1))， "ey Vn FO, N)—F(l1, N)), “oy Vn (PN, 1)—FC(N, 1)),， "°°, 
Vn RNV，N) 一 PFC，N))， 当 "一 co 时 是 渐 近 联合 正 态 的 。 

剩 下 只 要 证 明 式 (43) 中 的 协 方差 矩阵 之 是 由 式 (44) 给 出 。 为 此 目的 ， 作 如 下 计算 。 


n LJ 
Os 
Cov (nj, my ) 一 Cov[ > 29， > zy】 


多 一 工 w=1 
=2{( Dm){ D7) -8 2 )B( 2a)) 
SN 2 zy) ay) 
-2 ?+ D4 | 
Em 
一 到 Da) yx] » ty jy Es, (49) 
ma 1 m= 1 
因为 由 定义 知 
HAP 一 [2 当 且 仅 当 1 一 ?一 了 bid) ES, 


10， 其 它 
所 以 必 有 
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2) 一 dips jif EB, m= lyn 
Cov (nijs ny ) 一 NOie oO mipiy 一 Wm pi Pry 


十 > E22m), ijsi,j ES, C50) 
mm 
依 z' 的 定义 ， 
之 BC) = 六 PX, = Kar=j, Km=7, Xmii—=)) 
me 
一 名 a—l 
-3 
一 人 2) mipyp "nD poy ) 二 (nO— 2)mp0wpry 
WT 
a 一 3 #1 
ee 
+ >， me pry Pp ”一 Dp) 十 Ga 一 2)mrPrygrps 
ni 讨 开 抽 ! 小 之 
一 人 
一 2 CI Dampypl py 
IO 
月 一 人 
+ 2 Ge 一 一 Dmzoy 殉 ps (51) 
i=0 
将 式 (51) 代 入 式 (50) 便 得 
Core ni = D066;y — Kpry )— 《ma 一 I) mp pyy 
一 2 
二 pyper 二 [也 Gl Dm Pp 办 十 >， 《2 一 ! 一 Dph | 
0 
a—2 
— Nmpy(oOwdjy — Nm Pry ) + pibus [至 >) 人 一 ! 一 1) 
0 
s—2 
X( 2 名 一 后) ) + Dy Dn) | C52) 
利用 马 氏 链 是 追 历 的 假定 以 及 W. 定理 9 知 级 数 2 ( 吏 一 不 ) 与 2 (7 一 辐 ) 是 绝对 收 钱 


的 ， 二 是 对 任 给 的 :>0， 必 存在 正 整数 以 使 > 加 一 m1< 计 ， 当 > MT2 时 ， 


一 2 


二 > 一 上 一 1( 隐 一 后 ) 一 So 一 全) 
2 im=0 i=0 
月 一 他 
<< 定 ! 凡 -+ | 
i=0 [一 籽 十 上 
li 十 1 
<> i 一 而 | 十 雯 ， 
Stl 
当 " 足够 大 时 可 使 之 ; 下 lp 轴 一 本寺， 由 此 可 见 
lim 一 pe — i— DoR— mn) = Dp ~ nn), (53) 
a—2 oo 一 
同 理 lim 一 二 之 2 i Dm)= pm), (54) 


在 式 (52) 的 两 边 ， 令 "一 co 取 极 上限， 将 式 (53)、(54) 代 入 即 得 式 (44)， 定 理 得 证 。 
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现在 可 以 给 出 序列 相关 于 的 浙 近 分 布 了 。 
定理 6 VCR 一 DC Jr(0，o) (55) 


用 一 > 


其 中 =0'270, 0 一 | 了 pT ，…， FF | 是 1XY* 向 量 ,9 是 一 阶 自 相关 p 的 
表达 式 (37) 中 作为 N? 个 变量 FG， 站 i，jES 的 函数 。 

证 因为 式 (40)，、R==g( 关 (i, 站)， 以 及 定理 5 已 证 实 的 关于 TT,== (PF(1，1),…， 
(1， NW),…， 庆 (N，1)，…，FPCN，N)) 的 极限 结果 、， 又 g 是 N? 元 连续 可 微 函 数 ， 应 用 众 
所 周知 的 收 钱 定理 "3 便 得 所 述 的 结果 。 

如 果 {X。，X!,，*…} 是 相互 独立 的 具有 相同 分 布 {zw:，iE 8)} 的 随机 变量 序列 ， 易 证 实 


VTR-dL 0,1), (56) 


Rn— oO 
在 参数 的 情形 中 , 即 假设 转移 概率 p,, i, JE 8 是 单个 参数 2 的 函数 mr(9) JE 8, p(0) 
二 g《F(i，j，0)) 一 g《mpy(0))， 将 它 写 作 C9)， 并 设 hC9) 是 9 的 一 对 一 函数 , 那么 , 自 相关 
的 最 大 似 然 估计 Pp 明显 地 是 C0)， 这 里 6 是 通过 求解 似 然 方程 
_My_ dpy(0) _ 0， 
ee pC0) 00 


所 得 到 的 2 的 最 大 似 然 估 计 。 由 定理 2， 
GO- 和 证 二 Au 
_ m00) { dp 0)\? 
其 中 1(0)— 2 | 罗 人 1. 
再 由 众所周知 的 收 化 性 结果 ， 便 有 下 面 的 定理 。 
定理 7 Vi 一 po fp, 2), (57) 


nn— oo 
其 中 ， 2=| D2) of 00). (58) 


在 目前 的 参数 情形 (4(9) 是 9 的 一 对 一 函数 ) 的 处 理 中 ， 我们 有 两 种 可 供 选 择 的 bp 的 估 
计 , 即 R 与 p。 注意 到 虽然 是 基于 FCi, 四 的 最 大 似 然 估 计 广 (Gi, 四 之 上 而 建立 的 估计 , 但 
是 一 般 说 来 与 2 未 必 等 同 。 而 且 ， 由 最 大 似 然 有 效 性 ， 我 们 应 期 望 5 
强 之 2。 (59) 
在 下 一 节 还 会 看 到 , 估计 量 R( 或 p, 当 它 能 适用 时 ) 在 关于 转移 概率 的 某 些 假设 检验 问题 中 
是 有 用 的 。 


rel 


$32- 假设 检验 
8 1 中 所 给 出 的 结果 可 以 用 来 对 于 所 考查 的 马 氏 链 的 各 种 假设 进行 显著 性 检验 。 


1.x** 检验 


(1) 特定 转移 矩阵 的 检验 
现在 提出 如 下 需要 检验 的 假设 : 
H: p; = pi;(0), i jES= {1,"…,N}), (C60) 
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其 中 ， 对 任 一 固定 的 i€ES, {p30), j=1, *", N} 都 是 一 个 给 定 的 概率 分 布 ， 即 P(0) 
二 [p500)] 是 给 定 的 NXNN 转移 概率 随机 和 矩阵。 为 了 度量 来 自 样本 (zi，…，z,) 的 py 的 最 大 


似 然 估计 量 加 一 没 与 Py(0)，i，jE5 之 间 的 差别 大 小 ， 考 虑 库 尔 贝 克 -~ 莱 布 勒 (Kullback~ 
Leibler) 信 息 函 数 ， 即 


we ) ， 


KG 一 Bo i€ 8, (61) 


jm 


YX 一 上 


利用 近似 公式 ，log * 十 寺 | 于 


9 xz 了， 在 加 与 Py(0) 接 近 时 ， 可 得 
Nn 一 

KP ~ DrsC0)| (1 一 Gu/ms(O)) 十 于 (1 一 Ca/ruCo))2] 
j=1 


_ m0) 2 二 旦 + 二 4 ) ] 


1 Ripiy (0) npi; (0) 
1 np 0) 一 7) . 
一 二 全 BLO 一 AR 
i i€S, (62) 
作 KK 人 ，iE 5 的 加 权 平 均 
N 
ri 人 ~ (Rij 一 2800)7)2 
EY ~ 5 2 rr (63) 


Ny 


将 式 (63) 有 方 写作 亏 $。 对 任意 给 定 的 iE5S， 固 定 的 w, 与 观测 频数 1，…，nin， Zn 


相应 的 理论 频数 为 了 2 (0)，…， WUBNKCO7， 而 和 2 (m5 一 Bpy(0))?/nips(0) 实 际 上 是 和 2 拟 合 优 度 
统计 量 ， 由 皮尔 水 (K. Pearson) 定 理 ， 当 n>co 时 ， 从 而 一 co 时 ,在 假设 为 真 的 前 提 下 ， 


之 Gm 一 npyC0))?/apsC0) 的 分 布 收敛 于 自 由 度 为 N—1 的 Xx? 分 布 。 从 而 ， 统计 量 


$= PA 一 nipsC0))? /npsC0) (64) 
是 相应 于 转移 矩阵 的 六 个 行 的 六 个 独立 的 类 统计 量 之 和 ， 而 且 ， 当 "一 cc 时 ，y 的 渐 近 分 
布 是 具有 自由 度 为 NCN 一 1) 的 避 分 布 。 显然 ， 上面 的 讨论 是 在 很 定 了 所 有 zj，i，jES 都 
是 正 的 前 提 下 进行 的 。 更 一 般 地 ,假定 a 表示 转移 概率 矩阵 P 的 第 i 行 中正 元 素 的 个 数 ,4d 
是 P 中 正 元 素 的 总 数 , 令 D== (j: 5 之 0 中， 那么 


$= DY Dn — mps0)) /mp0) (65) 
i€ES jeéD. 
具有 自由 度 为 7 (4 一 1)==d 一 的 必 极 限 分 布 。 
检验 假设 妃 ， 和 = 有 (0)，i，jES 的 似 然 比 统计 量 由 下 式 给 出 ， 
PCXI = ri", Xs = x |P(O0)) 


4" =— 2log 4=— 2log PO = wir, Ke = |E) 
ER (0) “pr ,zr (0) 了 
一 一 2log SR 2log 工 Be j 

pb: 1z zx jES Pi 


二 一 2 Dm log 一 一 一 一 ws, 《66) 


jES 
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注意 到 在 假设 如 为 真 的 前 担 下 ，2" 一 4 一 上 -0。 


因此 统计 量 Y 是 检验 假设 志 的 一 个 合理 的 尺度 。 在 指定 的 显著 性 水 平 es 之 下 , 从 加 分 
布 表 上 查 出 满足 式 PC 和 驹 ww_y 宇 各 ww-w4《9))==o 的 值 次 w_oga)， 然 后 根据 4 袜 八 wb(o) 是 或 
否 ， 而 作出 拒绝 或 接受 假设 及 的 推断 。 
(2) 独立 性 检验 
在 平稳 的 马尔 科 夫 相依 性 假定 的 范围 内 ,随机 变量 序列 {X,， 4 二 0，1，…) 的 独立 性 
的 假设 是 采取 了 如 下 的 形式 : 
H; pi= Xj, jES= {1,",N}, (67) 
因为 在 此 三 为 真 时 ， 应 用 马 氏 性 、 齐 次 性 、 平 稳 性 ， 对 任何 xz 之 0，m 之 1， 
POX, = 加 Kt 一 i Kn = 加) 一 局 = pnpP i 
一 P(X, 一 加 77 = P(X, = io) P(X+! 一 P(X + 一 各 )， 
DG 3。 
这 里 ， 平 稳 概 率 分 布 (mm，jES) 并 未 特别 指定 。 在 假设 五 之 下 , 我们 仅 肪 个 受到 约 东 
m=1 限制 的 参数 (zm ，… ,xy)。 容 易 求 出 , 在 假设 五 之 下 wj 的 最 大 似 然 估计 入 是 n/n， 
jE5、 这 里 7, 是 在 样本 Cz;，…，z,) 中 状态 ;出现 的 频数 。 事实 上 ， 利 用 平稳 性 、 马 氏 性 条 
件 ,以 及 和 m=n， 在 假设 及 之 下 ， 似 然 函 数 工 呈 下 面 的 形式 ， 
L= P(X 一 71, 一 Ta", Xs = 1s) = Ne pes" Drs, 


N—1 N—1 
Y 
=mm ,= [Ll ~ 2 )™, 


j=! ji 
N—1 | 
于 是 log L= 2 no Tj 十 nwlog { 1 一 >， 7 ， 
I= j= 
对 j: 1 委 j 委 六 一 1， 
0= EL on +n — ? 
a Fj Ns < 
(1— Zn 
j==1 
即 Ry/Ny=N;/Nj, ijN 一 1， 
或 mmm/ 1<j<N—l, 《68) 


由 式 (68) 有 


1 一 wx 一 Sm 一 Shasny /ny = (Ca 一 nx)ny/ny, 
从 而 求 得 最 大 似 然 估计 量 元 =n/#，1 志 j 筷 六 。 不 顾 初 始 状 态 如 何 ， 如 前 已 证 ，Pps 的 最 大 似 
然 估 计量 是 zw/m。 作 为 检验 假设 五 的 尺度 的 内 统计 量 和 似 然 比 统计 量 分 别 依 次 为 
(Ri; 一 n(n/n) )? | { ny 
各 


注意 到 这 两 个 统计 量 之 差 , 当 mn-rco 时 依 概 率 收 钱 于 零 。 再 次 应 用 与 多 项 分 布 类 似 的 推导 方 
法 ， 又 m= Lm =n, i€S, n=n, 我 们 发 现 统计 晤 
SN， 《ni 一 mR/n) ) 
pa] 


Rinj/n 


0 


(69) 


ES 
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具有 自由 度 为 NCN 一 DD 一 CN 一 1)==CN 一 D? 的 必 极 限 分 布 。 对 给 定 的 显著 性 水 平 *， 查 表 
得 X&y-1x《a) 的 值 , 当 式 (69) 统 计量 的 值 大 于 或 等 于 宫 y-w(a) 时 , 便 和 否定 假设 右 , 否则 便 接 
受 卫 。 
(3) 多 个 样本 的 同 质 性 检验 
设 XOD, l=1,…, 7 是 7 个 具有 同一 个 状态 空间 8S= (1,…，N}) 的 齐 次 马 氏 链 , 各 
和 的 和 本本 应 地 为 PO)= [psC0)], (一 1，…，7。 对 每 个 /一 1， 7， 设 txi1(D)， 
'，zw,(!)) 是 马 氏 链 X(0) 的 容量 为 Mi 的 样本 ， 并 假定 这 ， 个 样本 是 入 志 独立 的 。 对 每 个 : 


一 1,，…，7, 样 本 (z (0 ,… ,zm (OO) 的 转移 频数 记 为 ww(0 ,i, jE 5S,n(D) 二 nD = ZLnalD. 


DM 由 前 面 已 论证 过 的 事实 知 ， 对 任何 /二 1,，，…, 7?, 任何 i,， jE 5S，zps() 的 最 大 
似 然 佑 计 是 CD/n(D)。 
任意 一 个 齐 次 马 氏 链 的 概率 特性 ， 如 果 不 考虑 初始 分 布 的 影响 ， 那 么 完全 出 它 的 转移 
概率 矩阵 所 决定 。 有 时 为 了 考查 几 个 齐 次 马 氏 链 的 概率 特性 是 否 不 同 ， 就 需要 考查 它们 的 
转移 概率 矩阵 有 无 差异 。 所 谓 同 质 性 检验 就 是 要 凭借 所 给 的 > 个 互相 独立 的 样本 去 检验 如 
下 的 假设 : 
百 ， 1 一 有 (2 = =) =p ij€ts, (70) 
即 7 个 转移 概率 矩阵 P() ，! 王 1，…，?r 全 都 等 于 同一 个 公共 的 转移 概率 矩阵 = [pj。 容 
易 证 实 2 的 最 大 似 然 估计 是 
bi 一 Dr)/ Duk, 07 入 人。 (71) 
事实 二， 利用 独立 性 、 马 氏 性 假设 条 件 ， 似 然 函 数 工 呈 如 下 形式 ; 
L =PX Den), ,Xu (CD 一 zu 1), 0, Xin) 7) 1 Xu, C7) = 7)) 
= OOD, Damp) "PX (7) 


=x1(7) pa sn TI PCP) sn rt 


一 PXIC1) 一 20D) Tp DY (7)}=71(7) ) 本 wpDve 9 


log L= Ziog PCKKD 一 maCD) 十 nuCDiog pCD+ "+ 2 msn) log p57)， 
在 假设 五 为 真 的 前 提 下 ， 由 上 式 可 得 
iogL = 2 POXICD = (0D)) 十 2 Ds (Djlog Pi 


tie=1 


N— 了 
= > os POXICD = aaCD) 十 > { Sl >", (CD )log ps 


t=1 ss] j=1 


十 { Da )iog (1— Dn } ， 


， 由 此 可 见 ， 对 任何 i jj 1<iSN,， 1<jN 一 1, 


0 EE PD) + (Pd), 
1— Sp 


j= 1 
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即 pu= Yr CDps/ Zoui(D， i, jES, jEN。 (72) 
N_i 


从 而 pa (nuCD 一 awCD) 一 = (rm D0) 
-5 SawCDp) = nD (ps), i€Es, 


故 pa= Zw(D/ Zn, i€Es, (73) 
由 式 (72) 与 式 (73) 便 得 最 大 似 然 估计 式 (71)。 


记 = 如 MM 假设 Mo 时 ,要 一 >0, 1 一 1，…，r，2% 一 1。 那么 , 检验 假设 性 

的 燥 统计 量 是 

> > uD >, (74) 
而 且 , 它 具有 自由 度 为 rNCN 一 1) 一 NCN 一 =r 一 DNCN 一 1) 的 避 极 限 分 布 ,于 是 可 用 来 
作 关 检验 。 

(4) 相依 重 数 的 检验 

如 果 X= {(X，n 一 0，1，…} 是 状态 空间 为 5= {1，…，N} 的 + 重 齐 次 马 氏 链 ， 由 
1 .定理 5 知 2Z= {( 么 一 (X，…，Xs+D，a 一 0，1，…} 是 (一 重 ) 马 氏 链 。2 的 状态 空间 
尽 共 含有 六 个 状态 . 若 记 PCX.H 一 入 | 人 一， 一 一 人 为 zs， 当世 是 齐 次 的 ,， 则 
它 的 转移 概率 为 

Pi 当 认 一 7 和 1 魏 ! 魏 一 1， 

DGD Gy | 0， 其 它 ， 

现在 假定 马 氏 链 X 的 所 有 (一 步 ) 转 移 概率 都 是 正 的 。 还 假定 式 (75) 右 方 中 的 概率 
2 2 ay ES 全 都 是 正 的 。 注 意 到 2 的 转移 概率 符 阵 共有 习 行 , 相应 于 任 一 状 
态 作 ，…，iG，…，aES) 的 那 一 行 中 ， 有 且 仅 有 ms， 一 1，…，N 这 个 元 素 是 
正 的， 所 以 ，2 的 移 转 概率 矩阵 中 正 元 素 的 总 数 为 Y”:。 

以 m… 记 在 一 个 次 观测 的 样本 中 游程 向 ，…, 2 出 现 的 频数 , 以 4.…,。, 记 在 此 样本 
中 从 (3 ，… ,44) 转 移 到 Ciz，…， i+1) 的 频数 。 这样 2 和 aa 起 着 与 (一 重 ) 马 氏 链 中 的 
和 mw 同样 的 作用 。 为 了 判别 X 是 不 是 上 重 的 ， 需 要 检验 的 假设 是 石 : 与 假设 X 是 * 重 马 
氏 链 相对 立地 关 是 1 重 马 氏 链 (<k)。 确 切 地 阐明 如 下 。 

H: pei = Pain ddd CE 5, (76). 
即 转移 概率 矩阵 由 N+! 个 参数 {Pp PT ES) 所 确定 。 但是， 
hit! ES 所 相应 的 入行 中 ， 每 行 元 素 之 和 为 1， 即 受到 约束 


Vise sbi is" sj € 心 。 (75) 


{pp 1 


2 pti = -tt19 ES 的 限制 ， 所 以 在 (2 


中 实际 上 只 有 N+! 一 N' 二 NM(N 一 了 ) 个 独立 的 参数 。 
在 假设 # 为 真 的 前 提 下 ， 参 数 的 最 大 似 然 估计 量 由 下 式 给 出 : 


~ Re voi gi 
一 1 > 
Pi 一 一 ， 2 人 ES (77) 
1 ns 时 
2 一 (十 1 (3 


ES 
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那么 ， 适 用 于 检验 假设 H 的 必 统 计量 是 
Ci 
i ES Wii 
并 且 它 具有 渐 近 的 自由 度 为 CN 一 DD 一 NON 一 1) 二 NON 一 1) (CN! 一 1) 的 类 分 布 。 
(5) 参数 假设 的 检验 
假定 需要 检验 的 假设 是 H: 转移 概率 py 具有 特定 的 形式 py(0) » 即 p= p10), 2， JE8S， 
这 里 6= (0 ，…，4) 是 取 值 于 ft 的 未 知 参 数 。 
对 于 这 种 情形 ， 适 用 于 检验 # 的 统计 量 是 


一 Ris 7 ?72 
1 Pi Ea! (78) 


| 


(ny 一 mpy (PO) )? 
2 mpi(0) C79) 
这 里 6 是 通过 解 方 程 组 
Wij 9 ps(0) 了 ,,, 
2 p50) %, = 0， 4 = 1 ,k, (C80) 


biEs 
而 得 到 的 6 的 最 大 似 然 信 计 .假定 YX 矩阵 D=| 32 | 的 秩 为 ,所 以 没有 多 余 的 参数 ,并 
且 还 假定 ps09) 具 有 关于 6.， 4 一 1，…, 上 的 连续 一 阶 和 二 阶 偏 导数 。 能 够 看 出 co 式 (79) 所 
考虑 的 统计 量 的 渐 近 分 布 是 具有 自由 度 NCN 一 1) 一 6 的 如 分布。 在 这 里 为 简单 起 见 假定 了 


所 有 的 转移 概率 是 正 的 。 如 果 转 移 概 率 和 矩阵 中 仅 有 4 个 元 素 是 正 的 ， 那么 自由 度 将 是 
d—N—i, 


2. 基于 序列 相关 之 上 的 独立 性 检验 


假定 所 讨论 的 马 氏 链 X 是 有 限 齐 次 平稳 的 ， 其 转移 概率 矩阵 中 的 所 有 元 素 都 是 正 的 。 
能 够 指出 对 于 相当 广泛 的 一 类 转移 矩阵 ， 自 相关 表征 了 观测 序列 的 逐个 序 对 之 间 的 统计 相 
依 性 。 

称 转移 矩阵 P= Lzs] 是 正 向 序列 相依 的 ， 如 果 

> Dmpw > (Bm)( Dm), ij€ES (81) 

成 立 。 以 多 记 这 样 的 转移 矩阵 族 。 如 果 式 (81) 的 反 向 不 等 式 成 立 , 则 称 此 了 是 负 向 序列 相 
依 的 ， 以 多 记 这 种 相应 的 转移 矩阵 族 。 

能 够 证 明 己 ] : PE 蕴含 p 之 0， 当 且 仅 当 {X,, 1=0, 1, ，……} 是 独立 的 ， 等 式 p=0 
- 成 立 。 类 似 地 ，PE 多 蕴含 p 人 0， 等 式 p= 二 0 成 立 的 充 要 条 件 是 {X,， rn 二 0，1，…) 独立 。 
这 样 ， 每 当 PEFUY, p=0 时 ， 便 意 味 着 {X,，7 二 0，1]1， … 的 序列 独立 性 。 

容易 证 实 ， 当 状态 空间 仅 含 有 两 个 状态 时 , 转移 矩阵 P 总 属于 多 U 多 ， 所 以 在 这 种 人 情 
形 里 不 相关 性 总 蕴含 了 独立 性 。 当 状态 的 个 数 较 大 时 ,应 用 定义 来 验证 P 是否 属于 多 U 多 ， 
那 是 相当 元 长 而 乏味 的 。 正 向 相依 性 的 较 简单 的 充分 条 件 可 得 如 下 : 


(GD 如 果 转 移 概率 矩阵 二 [ps] 使 得 对 所 有 的 jE 8， 之/ ?-ir 依 “是 不 增 的 ,那么 PE 
8 。 
为 使 成立 的 一 个 更 简单 的 充分 条 件 是 ; 


(i 如果 对 每 个 >i, ， 诈 8，zmi/ 区 依 了 是 单调 不 减 的 。 那 么 对 所 有 的 JES， Op 
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依 上 是 不 增 的 。 

笨 件 (让) 常常 是 确定 PP 是 否 从 属于 多 的 最 简单 的 方法 。 关 于 多 也 拥有 类 似 的 充分 条 
件 。 

假定 PE 多 U 多 . 需要 检验 的 假设 是 晴 ，(X,, n= 二 0，1,，…) 是 独立 的 。 由 前 面 已 陈述 
的 结论 知 , 检验 假设 4 等 价 于 检验 假设 H*， p=0, 而 用 来 检验 假设 了 H* 的 一 个 简单 的 统计 
量 可 取 为 

到, 一 VnBk, (82) 

这 里 8 是 在 $1 中 研究 过 的 序列 相关 。 在 假设 HH* 为 真 的 前 提 下 , 当 n-o2 时 W, 具有 极限 标 
准 正 态 分 布 ， 子 是 ， 对 给 定 的 显著 性 水 平 s， 查 (标准 ) 正 态 分 布 甫 ， 求 出 Bwz( 宇 中 ,使 得 


2 


” 2 
一 | edzr 一 4。 
T Bp 


当 由 样本 算得 的 W, 使 |W.| 之 8 成 立时 ， 便 拒绝 假设 由， 香 则 便 接 受 二。 注意 到 这 种 检验 
方法 比 起 前 一 段 中 介绍 的 检验 要 简便 得 多 。 


$3 3 更 深入 的 论题 


1. 吸收 链 的 推断 


设 X= {X,, 7 一 0，1,，…}) 是 有 限 齐 次 马 氏 链 ， 状态 空间 8== {0，1,，，，N}， 状态 
0 是 吸收 状态 ,其它 状 态 1 ,，… ,VN 都 是 非常 返 的 , 那么 X 的 转移 概率 和 矩 阵 P 可 以 写成 如 下 
分 块 矩阵 的 形式 。 
P= 由 2 |， U= [por py 0 (83) 
LU QQ, 


其 中 0 是 NXxX1 零 向 量 ， 8 是 以 pis bs j= NN 为 它 的 第 : 行 第 5 列 元 素 的 NXN 和 矩阵。 
y 


因为 和 y=!1 一 po， i 一 1，…，NN，V 是 非 零 向 量 ， 所 以 4 不 是 随机 矩阵 。 候 定 状 态 集 《1， 
…，N) 不 含有 任何 非 空 真 闭 于 集 ， 每 个 状态 1，.…，3 都 是 非 周 期 的 。 令 (zo 4，…， 
z.) 是 对 马 氏 链 xX 作 接 连 观测 所 得 到 的 一 个 x 的 实现 。 又 假定 转移 概率 ,i，jE8 依赖 于 
个 未 知 参数 构成 的 向 量 9= (0,，…， 0,)。 现在, 要 在 吸收 尚未 发 生 , 即 在 = 天 0 的 前 提 下 ， 
应 用 样本 (zo，z1，…， zw) 来 估计 9。 记 g==PCX6 一 让，iE5， 9 一 (gn ，…， gp)'， 即 初始 
处 在 非常 返 状 态 上 的 概率 。 又 记 e= (1, …，1)'( 即 元 素 缘 为 1 的 WX1 向 量 。 在 吸收 发 生 之 
前 ， 获 得 4 次 观测 的 概率 显然 是 90e， 因 此 条 件 似 然 函 数 由 下 式 给 出 ， 

= [zy/e ee, (84) 


bj=l 


这 里 的 是 在 样本 中 由 状态 ;到 5; 的 转移 频数 。 

令 2， …，pv 是 按 其 数 什 大 小 的 递减 次 序 排列 的 8 的 特征 值 。 令 W' 二 Cw， *…, wx) 各 
V' 二 (v1, vy) 分 别 依 次 表示 对 应 于 9 的 最 大 特征 值 pi 的 , 并 使 Fe=1 与 YW=1 规范 化 
了 的 右 积 左 特征 向 量 。 这 样 WW 和 六 的 所 有 元 素 都 是 正 的 ,已 经 证 明 *]. 

P(X» = j|Xo+s 天 0) 一 j= lsN (C85) 
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并 独立 于 gd。 因而 ， 若 记 T=wd) j=1, ，N， 那么 N= (Nm zw) 便 是 在 以 后 的 长 时 
间 内 吸收 都 未 发 生 的 条 件 下 X; 的 极限 条 件 分 布 。 
以 M 记 相 应 于 向 量 丈 的 对 角 和 矩阵 ， 即 M= [6.w;]。 令 


ly 1 pit 


有 一 方 MiQM, R= [Rj], B= bj 1 《86) 
因为 WW 是 对 应 了 的 全 下 和 让 生生 各 站 屋 ， .所 以 对 任何 习 1 “， 立 有 
2 zi Bm =1, (87) 


故 有 是 随机 和 矩阵。 又 因 假定 11，…，WN) 不 含有 非 空 真 闭 子 集 ， 其 中 每 个 状态 都 是 非 周期 
的 ， 那么 以 为 转移 概率 矩阵 的 次 马 氏 链 是 不 可 分 的 饥 历 的 此 外 ， 有 一 (本 ，…，mzw) 
一 (oOi，…，2NMO) 一 村 是 相应 于 8 的 平稳 分 布 ， 这 是 因为 VY' 是 对 应 于 8 的 特征 值 p, 的 
左 特征 向 量 以 及 式 (86)， 所 以 有 


wR=VM MOM = QM =VM=.。 (88) 
当 mw 和 ws 一 co 时 , 马 氏 链 X 的 性 能 好 像 就 是 以 为 转移 概率 和 矩阵、 以 为 平稳 分 布 的 怠 氏 
链 的 性 能 一 样 。 因 此 ， 在 前 面 所 得 到 的 关于 遍历 马 氏 链 的 结果 能 够 应 用 到 现在 的 情况 中 。 


似 然 方程 组 是 
alogL _ 阿 Wj 9 Pi 1 9 (ge) 


人 ， 30 ge 5 0， r= |。 (89) 
对 9 的 规范 型 进行 微分 ， 发现 
SPE pg M) a + pla 3 3 + ol |g), r= 1 bo C90) 
在 上 33 的 表示 式 中 咯 去 oC1/9) 与 olw1ps1*/p,) 的 项 ， 便 得 修正 的 似 然 方 程 组 ， 


如 


N + 
五 2 91) 
1 Ps r 上 


能 够 看 出 ， 如 果 L' 是 来 自由 和 矩阵 下 所 决定 的 遍历 马 氏 链 的 样本 的 似 然 函 数 ， 那 么 ， 
一 一 0, 除 去 o[ 让 | 项 之 外 将 引出 与 上 面相 同 的 方程 组 ， 所 以 , 可 应 用 这 个 修正 的 似 


次 方程 组 去 交 得 9 的 估计 量 及 其 大 样本 性 质 ， 这 就 好 像 是 在 以 为 转移 概率 和 矩阵、 以 x 为 
平稳 分 布 的 情形 下 所 进行 的 分 析 一 样 。 


2. 分 组 链 


设 X= {X,, # 二 0, 1，…}) 是 遍历 的 有 限 齐 次 马 氏 链 ， 状态 空间 5= (1，…，WN)， 转 
移 概率 矩阵 为 P= [pj] 初始 分 布 为 4==《qf，…，g 售 )， 当 状态 的 个 数 六 很 大 时 ， 为 了 简 
化 对 头 的 研究 , 在 和 .$3 中 已 经 提出 将 3 中 的 状态 进行 分 组 聚集 以 便 转 化 为 对 一 个 状态 
个 数 较 少 的 链 的 研究 方法 。 设 0= {S1, ,Sm) 是 5 的 一 个 划分 ， 即 s=US., SSI= 他， 
£，! 二 1，…，n， 上 尖 !。 为 简便 起 见 记 1 为 SS，! 二 1，…， mx。 现 在 定义 新 的 随机 变量 序列 
二 {7Y,， n= 二 0，1，…} 如 下 : 当 且 仅 当 XES 时 ， 规 定 了 =，n 一 0，1，…，! 一 1，…，m。 
特别 地 ， 若 S= (1)，S = {2，…，N)，S=bUS， 那 么 {n= 二 0，1，*…) 记录 了 在 
每 一 步 状态 “1” 是 否 出 现 。 它 描述 了 一 种 再 生 现 象 。 一 般 说 来 , 了 未 必 是 马 氏 链 。 如 果 了 
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是 一 个 新 的 马 氏 链 , 而 且 其 转移 概率 独立 于 原 马 氏 链 X 的 初始 分 布 ， 则 称 此 X 关于 划分 6 
二 (5,,*…8。} 是 可 分 组 的 , 这 时 称 Y 是 分 组 马 氏 链 。 从 另 一 个 角度 来 看 , 如果 我 们 给 出 定 
义 在 S 上 的 函数 了 使 得 对 所 有 的 状态 5ES 都 有 (= 一 &，( 一 1，…，mw， 那么 并 
一 f(X,) ，n 一 0，1，…， 即 分 组 链 了 不 过 是 原 马 氏 链 X 的 一 个 函数 ,问题 是 f 具备 了 什么 条 
件 才能 保证 了 是 一 分 组 马 氏 链 ， 下 面 的 定理 作出 了 回答 。 


定理 8 对 任何 状态 iES 及 任何 状态 子 集 4CS, 记 pi, 4) = LPs 则 马 氏 链 X 关于 
划分 G6== {51,，… ,5。) 是 可 分 组 的 充分 而 且 必 要 的 条 件 是 : 对 任何 两 个 超 状态 5S,, 5,, 1 福清 
lm， 以 及 所 有 状态 iE S&， 概 率 2G，8D) 都 等 于 同样 的 值 ， 写 作 2(E，?7 。 这 时 ， 和 矩阵 户 == 
[pz(,，?)] 是 分 组 马 氏 链 了 的 转移 概率 矩阵 。 

证 如 果 马 氏 链 六 关于 划分 C= {S51/，…，5。) 是 可 分 组 的 ， 那 么 依 定义 转移 概率 
PO 二 外 7 二 诊 ，1, 二 1，… ,mm 不 依赖 于 XX 的 初始 分 布 4， 当然 这 里 要 求 P(Yo== 匀 >>0。 特 
别 地 , 若 取 集中 在 状态 iE 5 的 初始 分 布 ,中 gf=P(X6= 让 =1GE S50) ,9 二 0,jE5 一 {让 ， 
这 时 

POYi=iY = 一 PG =iX = = >)P(CX = /Xo = 0) 
jE 
= p(1,5,), LE Si:, kK, t= 1 
对 所 有 的 i€ 5 都 等 于 同样 的 值 ， 必 要 性 得 证 。 

证 充分 性 。 实际 上 应 用 概率 的 有 限 可 加 性 、X 的 马 氏 性 及 假设 条 件 ， 对 任何 非 负 整 数 ? 

及 任何 to» 1 “daly k, l=1， 9 mw 有 

P (Yuri 一 ilYo 一 tos Yo 一 iY 一 9 
DP 一 i,X. 一 ?9 了 -1 一 和 Yo 一 to) 
i€S. 


已 (有 = bY = hl" Yo = 10) 
pO,L) > PCX. 一 1 了。 1 一 bis »Yo 一 10) 
i€ES, A 
PY, 一 ksY,1 一 1 一 10) 一 pOE,L) 。 (92) 


类 似 可 证 : P(Y =ilY,=) =y(E, D，, n=0, 1, ,k,l=1, ,mm, 结合 式 (92) 便 知 


Y 具有 马 氏 性 ， 证 完 。 
特别 地 ， 如 果 Pls S51) = 0 其 它 i€ES, [=], ,Mm, 依 定理 8 Y 是 分 组 马 氏 链 。 


它 ， 
应 用 XX 的 马 氏 性 、 齐 次 性 可 得 由 下 述 定 理 所 表达 的 7 与 X 之 间 的 关联 性 质 ; 
定理 9 对 前 面 所 给 的 (X.，n 一 0，1，…)}、{(7.，n 一 0，1，…)}， 
GD 对 任何 非 负 整数 及 任何 i … ,ii1，iE€E5, l=1,，，…，m， 有 
PY = Xo=ioy, X=iis X= = P+ = iX,=i) = 270,68)., 


1， 当 iES, 


(93) 
OI SD El, PS) 一 1 i€ES, l= 1,.,m, (94) 
(i) {CX.，Y,)，4 二 0，]，…}) 此 二 维 随机 向 量 序 列 具 有 马 氏 性 ， 其 转移 概率 为 
网 pi, 当 jE€ Si:， . 
中 一 YY 一 /|X = 1 一 7 心 ， {= 1,*,m, 一 0,1,…。 
P(X+1 一刀 7 + | 1) 人 ® yj & 8 tj 1 


(95) 


Hl 
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Ciii) 如 果 1 n=0,1, …} 是 平稳 的 » {ms jE 5} 是 它 的 平稳 分 布 , 则 {Ysn =0, i, …} 
也 是 平稳 的 ， 而 且 其 绝对 概率 为 
Pl(Y, 一 说 一 mr 一 Da,, {= lo Mm N01 《961》 
jE 
证 由 概率 测度 的 有 限 可 加 性 及 XX 的 号 氏 性 , 章 次 社 , 对 任何 4=0, e000 ios ott: 
i€ES, [=], ,mm, 
PYsti = Ko = ops K-11 = bls, = i) 
一 > PX 一 S| Xo = oy = 1)， 


jeg 


= y1PGO = jk = = Pn = 1X,= 0 


JES 
有 \ . 
而 DPX =j | 2 p=, Sy, 
jES, jE5, 


式 (93) 得 证 。 式 (94) 是 显然 的 。 
证 Gi)。 对 任何 非 负 整 数 x， 任何 训 ，…，4i， bES8， 及 任何 ,4 (二 1 
m， 由 {t7.,，n 一 0，1，…) 的 定义 知 , 车 PCX6=io， Yo=ic ， Xi 了 -is 一 人 -和 
=i, 六 一 人 六 0， 则 (Co 一 和 了 二 和， Xe 一 p Yt =h os X=i, P=h)= (Xo=io, 
1 一 i-1， 站 ,二 让。 再 利用 六 的 马 氏 性 便 有 
P(X = Yt = Xo = ,Yo = hoes Kt = = 
一 P(X = J7 = Xe = oy Ks = bi, = 6) 
一 P(X = jn = iX, = i), (97) 
类 似 地 ，PCX+1 一 放 Y=ilX,=i, T=)=P(X+=) Y=i|X,=i), 《98) 
综合 式 (97)、(98) 便 知 {(X,，Y.) ，a=0，1，…}》 具有 马 氏 性 。 
由 {7,， za 一 0，!1，…》 的 定义 知 


> 
i 
cm 
下 
< 
和 
A 
Ye 


、 已 ( 居 一 7 ,一 让 一 jy ES， 
po， iD | +1 一 了 Ph 当 ; 


~ lpg |X, =i = 0, Wj€& 5, 
再 由 式 (98) 即 得 式 (95)。 
证 (ii)。 对 任何 正 整 数 上 4， 任何 非 负 整 数 占 ， 8: 0 和 <22<…<#， 以 及 任何 六 
2，…, %， 根据 {Y,， 二 0，1，…) 的 构造 ， 概 率 测度 的 可 加 性 及 是 平稳 的 假定 ,使 有 
PC 一 站 了 = hb, =) = y) PIPEX, = ,XK, = i Ke = h) 


rl ES 

k 

“1 . 
= 、 > 已 (人 + 一 总 ?区 + 二 2 ,Xu+t 一 让 ) 


td 


rl ES 


一 已 (Ye + > 让 一 i 由 BAT 一 4)， 
故 {7,，n 一 0，1，…} 是 平稳 的 。 又 因 对 任何 a=0，1，…， /=1，…， 贡 ， 


nr = PY =) = DPX =) = Din. 
iE5, 3 


式 (96) 得 证 。 证 毕 。 
现在 假设 fC 让 是 定义 在 iES$ 上 取 值 于 6= 19， …，8。) 的 某 个 一 般 的 函数 , X= {X.， 
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?一 0，1，…} 是 遍历 的 有 限 齐 次 马 氏 链 ， 又 设 了 = {7.==/(X), n= 二 0,，1，…}, 并 且 了 与 

关 具 有 如 下 的 关联 性 质 : 对 任何 8 一 0，1，…， 任何 fi i， i€E5, 任何 ( 一 1，…，m， 
PO 一 站 Xe 一 i Xo = bisX, =i 

= POY,=iX,=i)= g, (99) 


0 委 委 1， Dg = 1 (100) 


此 了 作为 X 的 函数 或 修正 一 般 说 来 不 再 是 马 氏 链 。 然 而 ， 只 要 仔细 考察 定理 9 中 i) 与 
Qii) 的 证 明 及 Y 的 构造 ， 便 可 类 似 地 证 得 如 下 结论 : 
定理 10 ”二 维 随机 向 量 序列 {(X,，Y,), 一 0，1，…} 具有 马 氏 性 ， 其 “转移 概率 ” 
为 
PC(X = jt = LX, =i) = py qi ij€ES, l= 1,,m, (101) 
如 果 X 是 平稳 的 ， 则 Y 也 是 平稳 的 。 
式 (101) 的 根据 是 因为 了 的 构造 , 为 保证 PCX,=i, 了 =) 之 0, 必须 (X= 让 CC(Y,=))， 
再 由 式 (99) 便 得 
P(X 一 jy = X=, =i) 一 POCOX = jr =i|X, = 
= P(X = IX = PO = Xi =) 
= pi io 
倘若 不 能 直接 地 观测 到 马 氏 链 X= {X., asa=0,， 1,…}, 那么 自然 会 想到 用 能 被 观测 到 
的 并 的 修正 了 = {7Y., 二 0, 1,，…} 来 代替 。 于是, 如果 Y= 二 (yp，…,y,) 是 7 的 一 个 实现 ， 
我 们 自然 希望 用 它 去 估计 相应 于 工 的 X 的 实现 外 = (zo，…，, zs)。 因 此 , 我们 的 兴趣 在 于 去 
估计 已 给 Y 了 之 下 XX 的 后 验 分 布 PCXIY)。 然 而 此 后 验 分 布 有 赖 于 未 知 的 转移 概率 ps，i，j; 
E58。 所 以 ,我 们 的 任务 是 由 Y 去 估计 p;，i，jE 5。 一 种 估计 pj 的 可 能 途径 是 应 用 边缘 似 
然 函 数 
LOY) = L(g) = 》) 了 (zoom 一 DLOX,Y), 


由 定理 10, 式 (101) 与 式 (99) 得 
L(X,Y) = P(Xo = z0 Xi 一 ZX = ra Yo 一 yo Yi 一 31 一 yy") 
= P(Xo = xoyY0 = yo)P(XL 一 zy 一切 |Xo 一 Yo)…P(X。 


人 


一 le 了。 一 Ys | 一 2Z1) 一 ga J] 2 ,0 o (102) 
了 一 上 


然后 将 这 些 量 的 估计 代入 到 PCX1Y) 的 表达 式 中 。 因 为 边缘 Y 通常 已 失去 了 马 氏 性 ,LCY) 
的 表达 式 很 不 简单 。 此外, 一 般 说 来 在 LCY) 中 的 所 有 bp 并 非 完全 都 是 等 同 的 。 所 以 我 们 提 
出 一 种 可 供 选用 的 直接 估计 P(XIY) 的 方法 。 

令 受 + 是 相应 于 已 给 实现 Y 的 所 有 可 能 实现 关 的 集合 。 对 任何 已 知 的 XX 可 用 最 大 似 
然 方 法 估计 psy， 得 到 pyCX) 三 mj( 针 )/ni(X), 这 里 wj(X) 是 在 实现 鲜 中 由 状态 i 至 ) 所 转移 


频数 ， 而 (XO)= Zn(X), 既然 PCX|Y) 与 P(X, Y) 成 比例 ， 此 联合 分 布 与 LCX, 了 ) 成 


比例 。 车 以 (X,Y) 记 由 PBs(X) 代 奉 pi 之 后 的 LC(X，Y)， 那么 后 验 分 布 P(XIY) 的 一 个 相 
合 估计 是 
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PXIY) = LD , xe 2,, (103) 
>， EX,Y) 


XENYy 
在 某 种 意义 上 ， 这 是 规范 化 了 的 估计 的 似 然 。 
假定 原 马 氏 链 XX 的 转移 概率 p;，i，jE 5S 依 整 于 一 未 知 实 参 数 9, 了 是 在 特殊 情形 
1， 如 5E S， . ， 
qx = 0, 其 它 ， iES, l= 1,,m (104) 
之 下 关于 X 的 分 组 链 。 现 在 试问 : 如 何 由 了 的 一 个 实现 (yy，…， 包 ) 去 估计 参数 0。 
如 果 (z,，…，z.) 记 作 半 是 可 以 取得 的 XX 的 实现 ， 由 XX 的 马 氏 性 、 齐 次 性 ， 这 样本 的 
似 然 函数 是 
Li(0) = PXI 一 ZX 一 7) 


3 一 二 
= PCX = 11) [I #6, C0). (105) 
ta l 
而 基于 Y 的 实现 Y= (yo，…，#) 之 上 的 似 然 函数 由 下 式 给 出 : 
11(0) = >》) 1.(0), (106) 
XE 


这 里 2 是 所 有 那 祥 的 实现 义 = (x ，…，z,) 构 成 的 集合 ， 即 此 集合 中 的 元 素 X= (zi，…， 
) 都 对 应 于 观测 的 实现 Y 一 Cy。，…，y,)。 一 般 L400) 不 具有 简单 的 形式 , 但 是 , 能 将 L200) 
写成 
L260) = POY = Yi Y, = 9,) 
一 P(7 = y)P(Y; = yz | 了 一 y)P(Ys = sa = yi = Ye) 
PC = yl = yi = y1)。 (C107) 


能 够 看 出 上 品 扣 (人 是 一 零 均值 对 。 尽管 了 一 般 不 是 马 氏 链 , 但 在 目前 的 情况 下 仍 能 应 用 于 


极限 的 结果 去 推导 出 由 解 方程 2e8 全 一 0 所 得 的 根 作 为 0 的 最 大 似 然 估计 量 的 渐 近 正 
态 性 和 相合 性 ?71。 因此 , 最 大 似 然 估计 的 问题 原则 上 是 被 解决 了 。 可 是 通常 [2(0) 具 有 复杂 
的 形式 ， 于 是 去 寻求 一 种 考察 更 简便 ， 即 使 效能 有 所 下 降 的 方法 也 是 值得 的 。 这 就 引出 了 
最 小 和 方法 。 

以 nm 记 在 样本 Cn, … ,和 ) 中 观测 状态 EG= 451,…，5。)) 出 现 的 频数 。 为 简单 起 见 
假定 X 是 平稳 的 马 氏 链 ， 并 有 平稳 分 布 (zw;、jE€E5}， 则 由 定理 9 知 Y 也 是 平稳 的 (一 般 不 
是 马 氏 链 ) ， 其 绝对 概率 为 

PC 一 四 一 人 = Dm, l= 1 my 01 


. 所 
假定 和 厂 ， 稚 S， 从 此 到 ，: 一 1，…， 严 是 一 个 未 知 参 数 0 的 函数 。 现 在 我 们 可 以 通过 极 小 化 
从 表达 式 
?一 > 和 (108) 
重要 的 是 要 注意 到 乡 的 渐 近 分 布 不 再 是 姑 分 布 ; 但 是 它 能 被 写成 为 若干 个 独立 的 次 变量 的 
线性 组 合 。 利 用 对 于 定义 在 一 个 有 限 马 氏 链 上 的 函数 的 中 心 极限 定理 el ， 易 直接 确立 量 
ni 一 nAe (0) 


< 王 一 一 };» {= 上 (109) 
V nn (0) 
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的 渐 近 正 态 性 。 而 且 . 二 (6&1，…， 6) 具有 极限 m 维 正 态 分 布 , 其 离 差 矩阵 不 是 对 角 矩阵 。 
通过 一 个 对 < 的 正 交 变 换 佐 能 将 ?写成 每 个 都 具有 自 自 度 为 1 的 六 分 布 的 若干 渐 近 独立 
的 变量 的 一 个 线性 组 合 ， 

0 的 最 小 好 估计 量 6 可 作为 求解 方程 党 =0 的 根 而 得 到 。 因为 a (0) 一 1， 所 以 
> 2 0 (9 _0, 由 此 经 整理 方程 党 =0 即 为 


f=l 
dat) 52- 0 


让 面 将 给 出 诱导 此 最 小 凤 估 计量 的 渐 近 性 和 质 的 轮廓 概 要 . 记 T1(1) = ,l=1, ,My 
TO nm (DO，…7uCa))， 那 么 估计 方程 (110) 变 成 如 下 形式 : 


、 aTCn) 2 dxr (0) 
AT ,0) = | 一 一 0。 (111) 
和 | 《0) dy 


i x (0) = (nr (0), “my nr (0)), 仍 因 之 ， 号 多 一 0， 从 而 有 


a a nxr (C0) 12 dr (0) 2 二 anr (0) 。 
$x* (0) ,0) = > 轨 | dD > = 0. (i12) 


假定 对 所 有 的 {二 1，…，m，zr (由 沁 0， 而 且 wr (0) 关于 0 是 两 次 可 微 的 。 于 是 能 够 验证 
关于 T(t==1,，，…，m) 也 关于 0 具有 连续 的 一 阶 导数 。 所 以 ,估计 方程 4 一 0 在 点 (r" (0)， 
9) 处 满足 隐 函 数 定理 的 条 件 。 从 而 , 方程 6 CT (4), 0)=0 存在 着 一 个 本 性 唯一 根 , 写作 外 
二 9g(Tn))， 当 nn 一 oo 时 对 于 b 它 是 相合 的 ; 事实 上 gCx*' (0))=0， 所 以 0. 是 一 个 4 的 费 软 耳 


相合 估计 量 " 中 。 由 隐 亢 数 定理 还 可 得 出 g 在 wx" C0) 的 邻 域 中 关于 工 () 是 连续 可 微 的 。 
为 了 证 明 的 渐 近 正 态 性 ， 我 们 利用 下 面 的 事实 : 
/TW) 一 mr (0)) -As(O,Z)， (113) 


其 中 的 第 4 行 第 2 列 元 案 ow(w，2? 二 1，…，m) 由 下 式 给 出 : 
ow =m bm) 十 Si{y) Samp 一 站 ) 十 》 Smo — rm) (114) 


M= 1 ‘EB ES, jES, iES, 
既然 和 =g(T (o) 关 于 了 (是 连续 可 徽 的 ， 由 众所周知 的 收敛 定理 2 便 得 出 
Vn (0 — 0) -和 (0， G > 0), (115) 


这 里 0 一 | 经 ，…， 守 | 。 应 注意 到 导线 ， /一 1，…， mm 可 以 使 用 下 面 的 公式 进行 计算 ， 


{= 1 ,mo (116) 


3. 炳 
假定 X= {X,， wn 一 0，1，…} 是 有 限 齐 次 平稳 马 氏 链 , 其 状态 空间 仍 为 《1，…， 
N}, 平稳 分 布 为 {zw;，j 一 1，…， 六 }。 作 为 度量 此 平稳 分 布 的 不 确定 性 程度 大 小 的 是 


Hi 一 一 Dj milog jo (C117) 


j=} 
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勤 的 相继 观测 对 的 二 维 概率 分 布 是 
P(X, 一 天 1 一 了 ) 一 P(X, = POX,+L 一 7|X、 一 1) 一 TiPijs tj ES, n=0,1,, 
(118) 
对 应 于 此 二 维 概率 分 布 的 粹 是 
Hz: 一 一 A Pi log (ri py) 。 (119) 


那么 ， 在 已 知 前 一 次 观测 结果 的 前 提 下 ， 度量 紧 接 其 后 观测 的 平均 条 件 不 确 性 程度 大 小 的 
条 件 粹 五 ，,、 由 条 件 粹 的 性 质 应 为 


Hs = H;,;— Hi=— Dj) pi log pi» (120) 
JES 
将 mw，ps 的 最 大 似 然 估计 元 一 ay， Pn/ i，jES 代 入 式 (120) 中 有 
en- 和 (121) 


(117) 及 之 ;二 一 1 便 知 瑟 一 2 当 {X,， n=0，1，…) 是 相依 的 ， 则 由 式 6120) 和 条 件 凡 
的 性 质 有 妃 : 天 天 天 2 万 。 

由 式 (120) 知 2 到 一 下 一 站 一 如 明显 地 , 这 个 量度 量 了 由 于 应 用 对 前 次 观测 的 相依 性 
而 不 是 不 利用 它 所 带 来 的 信息 增益 。 代 入 最 大 似 然 估 计量 ， 由 式 C117)、 式 (121) 及 式 (39) 
便 有 


TI = 2B — Bn) = 2| 一 > log 忆 一 工人 Salogm 一 Do, 1og 刀 让] 
4 一 i jES 
Ny 
一 2[ 一 mlog ni; 一 log 8) 一 Duos 7 十 lo m | 


=2[— Dnlog nt Dnloga— Dnlognt+ 》， nlog ns | 


bjES jES fjES er 

一 2 > nlog 及 十 log nj — log n; — log nj) 

i jES 

一 2 mo pe 。 (122) 
此 7, 与 $2.1.(2) 中 作 似 然 比 检验 使 用 的 统计 量 相同 ,因此 具有 极限 的 自由 度 为 CN 一 1)? 
的 宕 分 布 , 为 了 检验 对 立 于 马尔 科 夫 相依 性 的 独立 性 ， 选择 7 作为 检验 统计 量 是 合适 的 。 

这 个 方法 可 被 扩展 用 来 检验 如 下 的 假设 : 对 立 于 《 重 相 依 性 具有 4 一 1 重 相依 性 。 适用 

的 检验 统计 量 是 


和 一 (Bi — Bp), (123) 
这 里 ， Hi,o=H!, 
Hii-i 三 一 > XI = 0 ,X= ar)log P(X, = or Xi 一 0 KI1 = 1), 
| 
~ Hea ea, 
如 -一 一 2) 局 on - | 。 
Gag 1 el 


ma 记 在 样本 中 4 元 有 序 组 (Cal,，…, a) 出 现 的 频数 。 我 们 已 经 使 用 了 转移 的 循环 计数 法 , 这 
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并 不 影响 渐 近 的 结果 。7， 具有 极限 的 自由 度 为 NT'CN 一 1)* 的 内 分 布 。 注意 到 这 是 和 相应 
的 似 然 比 检验 同样 的 检验 ， 而 且 是 渐 近 地 等 价 于 在 $2.1. 中 给 出 的 恢 检 验 。 

虽然 此 信息 方法 所 给 出 的 检验 统计 量 与 似 然 比 检验 中 所 采用 的 统计 量 相 同 ， 然 而 借助 
相依 重 数 的 有 用 而 形象 的 指南 。 


4. 可 列 状 态 空 间 


假设 X= {X., 4=0, 1, ***} 是 具有 可 列 状态 空间 S= (1，2，…} 的 齐 次 马 氏 链 ， 转 
移 概 率 为 mW，i，jE43。 还 假定 X 是 不 可 分 的 ， 所 有 状态 都 是 非 周 期 的 , 正常 返 的 ， 即 遍历 
的 ， 由 五. 定理 3 之 推论 以 及 I. 定理 10 知 


limp? 一 元 一 帮 ， JE S， (124) 
人 


[bh 


ti > 0， Sn =1, Tj 一 Di ps JE RS。 (125) 
isel 


这 里 ;是 状态 j 的 平均 回转 时 间 。 

假定 zi(Gi，jE 5) 是 一 个 未 知 实 参数 9 的 已 知 函 数 p;(0) (i，jE 5)。 问题 是 如 何 由 XX 的 
实现 (z ，…，z) 来 估计 参数 09， 以 及 如 何 获得 关于 参数 0 的 假设 检验 的 种 种 方法 。 似 然 函 
数 由 下 式 给 出 ， 


L.(0) = 0), (126) 


其 中 是 在 样本 (zi，…, z,) 中 由 状态 i 到 状态 5 转移 的 频数 。 如 果 ==0, 则 规定 如 CO) 一 1。 
所 以 在 式 (126) 中 ,实际 上 只 对 样本 Cz;，… ,zx,) 中 出 现 有 自 1 到 ;转移 的 因子 进行 乘积 。 我 
们 已 假定 初始 状态 X。 是 固定 的 。 于 是 参数 9 的 最 大 似 然 估计 饼 作为 下 列 方程 的 根 而 得 到 ， 


> ns | = 0, (127) 


- Pi C0) dO 
式 (127) 中 , 当然 只 对 样本 (z，…，, x,) 中 出 现 有 自 i 到 ;转移 的 并 使 p,(0) 之 0 的 项 全 体 进 行 
求 和 。 
在 施加 于 转移 概率 {psC0), i, jE 8} 之 上 的 经 典 正则 条 件 之 下 59 便 能 确立 六 的 相合 性 
和 渐 近 正 态 福 。 此 证 明 是 仿效 如 在 文献 [28] 中 给 出 的 对 于 独立 情形 的 经 典 方 法 ， 只 是 用 
对 于 马 氏 链 的 大 数 定律 及 中 心 极限 定理 来 理 代 对 应 于 独立 观测 的 同样 的 极限 结果 。 文 献 
[30] 与 [9] 已 分 别 证 明了 所 需要 的 大 数 定律 和 中 心 极限 定理 。 最 后 我 们 发 现 


bh 0 (128) 
V0, — 0) -Ee N00"(0)), (129) 
加 人 log 2 -i 
这 里 oO) 一 | 可 一 全 区 | | 


= (Dre | 一 和 于 各) 


= (> 


mC0)psC0) | 


(0) 1 2 
防 | do P00) dp | 
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- {> [2 (各?) ， (130) 


上 式 中 最 后 一 个 等 号 成 立 是 因为 70) 二 1，iE 8， 所 以 
< d?p;;(0) 四 
0) = 0。 


需要 指明 的 是 在 式 (130) 中 仅仅 对 相应 于 正 的 pC9) 项 进行 求 和 。 像 在 有 限 状 态 空间 中 的 情 
形 一 样 ， 这 些 结果 能 被 扩展 到 多 个 参数 的 情形 。 

结果 式 (128) 和 式 (129) 可 用 来 以 通常 的 方式 推出 假设 五: 4E 4，4C9 的 似 然 比 检验 统 
计量 的 渐 近 分 布 ， 这 里 6 是 参数 空间 。 关 于 具有 一 般 状 态 空间 马 氏 链 推 断 的 渐 近 理论 的 综 
合 处 理 方法 ， 参 看 文献 [30]。 

还 应 指出 在 本 节 2 中 所 氢 述 的 关于 分 组 链 估计 的 最 小 和 方法 可 以 推广 到 可 列 状态 空 
间 的 情形 ， 只 要 当 此 可 列 状态 空间 被 划分 成 有 限 多 个 组 或 超 状 态 。 

本 章 只 对 离散 参数 马 氏 链 并 侧重 在 状态 个 数 有 限 的 情形 进行 讨论 。 自 然 对 于 连续 参数 
的 马 氏 链 也 应 探讨 相应 的 估计 和 假设 检验 问题 。 对 此 可 参看 文献 [27]、[30j]。 

除了 8 3 所 介绍 的 论题 外 ， 还 有 一 些 已 被 探讨 的 有 意义 的 论题 。 如 贝 叶 斯 (Bayes) 分 
析 ")。 假 定 已 有 某 些 关 于 转移 概率 矩阵 P= [pj 的 先 验 知识 , 于 是 可 利用 这 些 知识 规定 出 
P 的 先 验 分 布 ,进而 根据 观测 所 得 的 样本 确定 出 P 的 后 验 分 布 , 然后 在 指定 的 损失 下 (或 未 
指定 损失 函数 ?给 出 区 的 贝 叶 斯 估计 。 又 如 应 用 自助 法 来 研究 马 氏 链 转移 概率 的 估计 和 某 
一 状态 的 到 达 时 间 5a9 。 
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电子 计算 机 的 问世 是 当今 世界 科学 技术 革命 的 先导 和 标志 ， 电 子 计算 机 的 飞速 发 展 与 
普遍 应 用 已 广泛 地 渗透 和 影响 到 了 各 个 领域 ， 作 为 重要 数学 分 支 的 马尔 科 夫 过 程 论 也 不 例 
外 。 从 前 面 的 见 章 已 经 看 出 像 判 定 齐 次 马 氏 链 是 否 为 遍历 的 :确定 齐 次 遍历 马 氏 链 的 平 
稳 分 布 ， 寻求 齐 次 遍历 马 氏 链 的 常 返 状态 及 非常 返 状 态 集 ， 寻 求 从 非常 返 状 态 出 发 的 平均 
吸收 时 间 和 吸收 概率 ， 确 定 齐 次 非 侦 历 马 氏 链 的 状态 闭 集 及 其 周期 等 等 都 是 分 析 和 掌握 马 氏 
链 的 基本 概率 特性 的 重要 问题 。 本 章 的 主要 目的 就 是 针对 这 些 问 题 , 提出 可 行 的 求解 方法 ， 
构思 一 系列 遵循 一 定 顺 序 的 基本 运算 或 简单 指令 ， 以 便 让 计算 机 依次 执行 完成 ， 即 构造 能 
在 计算 机 上 使 用 的 有 效 算法 ， 以 求 问题 的 计算 机 解答 。 在 本 章 中 着 重 对 离散 参数 的 有 限 齐 
次 马 氏 链 进 行 讨论 ， 


§ 1 遍历 性 的 判定 一 列 和 法 


首要 的 问题 是 判别 状态 空间 8 二 {1,…, 尺 ) 的 离散 参数 齐 次 马 氏 链 X= {(X.，z 一 0，1， 
…} 是 否 具有 遍历 性 , 或 者 说 判定 此 马 氏 链 X 的 NXN 转移 概率 矩阵 P 一 [psj] 是 否 为 让 历 
的 。 对 此 ， 有 多 种 可 行 的 判定 方法 : 

i. 参看 第 四 章 例 1。 对 每 个 状态 旗 8S， 计 算出 CG) = (7: 有 正 整数 使 多 盖 0}， 通 过 
比较 cC(D,iE8， 能 确定 出 不 可 分 闭 子 集 , 如 果 恰 有 一 个 不 可 分 闭 子 集 , 还 能 求 得 此 不 可 分 
闭 子 集 的 周期 。 在 计算 机 上 能 够 有 效 地 进行 上 述 的 分 析 。 文 献 [34] 早 就 给 出 了 寻求 常 返 状 
态 闭 子 集 的 一 个 有 效 方法 。 

ii. 根据 第 四 章 $ 2 中 的 讨论 , 特别 是 W, 定理 18 的 结论 ， 可 先 在 计算 机 上 算出 转移 概 
率 和 矩阵 P 的 特征 值 与 相应 的 特征 向 量 , 如 果 除 1 之 外 ,P 的 其 它 特征 值 的 模 都 严格 地 小 于 1， 
那么 P 的 特征 值 1 所 相应 的 左 特征 向 量 就 是 马 氏 链 X 的 平稳 分 布 。 如果 还 有 其 它 模 为 1 的 
P 的 特征 值 ,这 就 表明 不 是 8 中 有 周期 的 状态 就 是 8 是 可 分 的 如 果 我 们 关注 的 仅仅 是 存在 
的 平稳 分 布 ， 那 么 这 种 方法 是 有 用 的 。 但 是 它 不 能 对 XxX 的 状态 进行 分 类 ， 因 而 不 能 用 此 方 
法 求 得 平均 吸收 时 间 和 吸收 概率 。 

ii, 回忆 在 第 四 章 中 关于 遍历 性 的 讨论 ,以 及 在 第 五 章 中 所 给 出 的 遍历 系数 概念 与 其 有 
关 的 结论 。 应 用 它们 可 以 对 遍历 性 问题 作出 判断 ， 因 为 离散 系数 的 有 限 齐 次 马 氏 链 为 遍历 
的 充 要 条 件 是 对 某 正 整数 几 遍 历 系数 aoCP) 之 0, 所 以 为 了 判定 遍历 性 的 一 般 步骤 是 对 P 的 
高 次 等 计算 遍历 系数 ， 注 视 着 前 面 论断 中 的 条 件 是 否 发 生 ， 显 然 这 时 的 关键 问题 变 为 己 的 
第 次 究竟 应 当 多 高 ， 明 显 地 这 算法 本 身 并 不 能 让 计算 机 去 取 P 的 越 来 越 高 的 罕 次 直到 
ce(pPa) 之 0 为 止 ,因为 对 于 非 遍历 转移 概率 矩阵 这 样 的 步 又 将 水 无 止境 。 困 此 为 了 能 够 使 用 计 
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算 机 去 判定 是 否 有 某 个 正 整 数 m 使 得 alP") 汪 0, 我 们 必须 能 够 回答 下 列 问题 ; 如 果 P 是 N 
XAN 随机 和 矩阵， 是 否 存 在 一 正 整 数 mo 二 moCN) 使 得 对 某 个 m 有 alP") 汪 0 的 充 要 条 件 为 a 
(Po)>0? 表述 此 问题 的 另 一 种 提 法 是 : 对 某 个 m, a 《(P") >0 的 这 种 性 质 是 不 是 可 以 判定 
的 ? 回答 是 肯定 的 ， 为 了 证 实 这 一 点 ， 需 要 先 引入 一 些 有 用 的 概念 和 结果 。 

对 任 给 的 状态 i, j, k€E 5S, 称 1 与 具有 m 阶 公共 后 继 状 态 1, 如 果 雁 '>0,， 同时 ?7 知 盖 


引 理 1 设 P 是 一 个 YX 随机 符 阵 , 则 sa(P)>0 的 充 要 条 件 是 每 对 状态 i,jE 5 都 有 
m 阶 公共 后 继 状 态 。 
证 由 mm 阶 公共 后 继 状 态 的 定义 ， 以 及 Y . 式 (5) 
alP") = Bin, 2 min( ph ,p97’) 9 (1) 
即 得 结论 。 
引 理 2 设 P 是 一 个 NXN 随机 矩阵 , 对 任 给 的 状态 i, jE 8, 如 果 ;与 了 具有 某 阶 公共 
后 继 状态 ， 则 它们 必 有 阶 为 NCN 一 1)/2 的 公共 后 继 状态 。 


证 “如果 状态 ; 与 1 有 阶 为 四 的 公共 后 继 状 态 忆 即 ?8*>>0, ?>>0, 因 为 和 pw 一 1, 所 
以 必 有 状态 >(ES) 使 得 ps 汪 0。 于 是 由 C-K 方程 知 
p+ 之 ph pr > 0， pt > ppr>0， 
故 1 与 有 m 十 1 阶 公 共 后 继 状态 >， 依 此 类 推 便 知 ， 对 任何 !: 王 1，2，…, i 与 ;都 有 m++! 
阶 公 共 后 继 状态 。 因 此 为 证 本 引 理 ， 只 要 证 明 ; 与 了 具有 小 于 或 等 于 NCN 一 1)/2 阶 的 公共 
后 继 状态 就 足够 了 。 
现在 假定 状态 i;, ; 具有 M 阶 公共 后 继 状 态 上 而 且 它们 不 再 有 阶 数 比 M 小 的 公共 后 继 
状态 ， 即 存在 状态 站，… ，i-i 大 ，…， 和 -KES) 及 相应 的 路 径 ， bi 
一 上 ，j 一 jj 一 … 一 和 -iu 一 ， 使 得 
人 Di > 0， 村 >0。 (2) 
为 了 记 法 上 的 方便 ， 用 序 对 Gi。， 记 ) 表 示 上 述 两 条 转移 路 径 在 in 时 Cm 二 M) 所 处 的 状态 。 首 
先 注意 到 对 于 m=1，…，M 一 1， 没有 一 对 (ie， 知 ) 能 使 a 王 各 ， 否 则 若 有 ?一 各， 那么 由 式 
(2) 及 C-K 方 程 有 : 
PD pip > 0， P00， 
即 遍 是 ;与 ;的 mC 过 MM) 阶 公共 后 继 状 态 ， 这 与 前 面 对 M 的 假定 相 矛 盾 。 
其 次 注意 到 没有 两 对 能 够 是 相同 的 , 即 对 任何 mr ,yz:1 和 mn<mw< in 一 ji 且 加 一 和 
是 不 可 能 的 。 倘 若 不 然 ， 便 有 两 条 长 度 为 内 一 (ea 一 piD(<M) 的 路 径 
i 
jj jt jk 


这 时 由 式 (2)，p ,>0，pi. jo.4>0， 以 及 C-K 方程 ,可 得 


| 
PEE m2 m1)) 之 Pi > 0， 
2 Pi Pi jar” Dy tt > 0， (3) 
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这 仍 与 W 的 假定 矛盾 。 

最 后 还 可 指出 : 如 果 有 两 个 状态 对 具有 同样 的 状态 元 素 , 但 是 处 于 相反 顺序 的 位 置 上 ， 
即 有 1 委 m<ma<< 允 ， 使 得 一 知 且 因 一 种 ， 那 么 也 将 导致 类 似 的 矛 冒 。 因 为 这 时 也 有 两 
条 长 度 为 MM 一 Gms 一 m1)( 之 机 ) 的 路 径 : 

人 
jj jn iin ty 
由 式 (2)p ;之 0， 由， 之 0， 再 由 C-K 方 程 仍 导致 式 (3)， 但 这 是 不 可 能 的 。 

由 于 上 述 这 些 限制 : 没有 一 个 状态 对 能 使 它 的 状态 元 素 相同 ， 也 没有 两 个 状态 对 能 使 

它们 的 状态 元 素 ( 不 论 其 位 置 的 次 序 ) 是 相同 的 。 因 此 ， 满 足 这 些 约束 条 件 的 状态 对 集合 至 


多 含有 | > | 对 ， 这 是 因为 从 个 不 同 的 元 素 中 ,不 重复 地 抽出 两 个 元 素 ， 不 论 其 先后 次 序 
的 元 素 对 总 数 是 | > | 。 既然 每 对 Gi， 记 )， mn 二 0，1，…，M 一 1 都 要 受到 这 些 限制 ， 所 以 洲 


<| | 二 NCN 一 1)/2。 引 理 证 完 。 


由 引 理 1 及 引 理 2 立即 可 得 下 面 的 定理 ， 

定理 1 设 P 是 状态 空间 8S={1,…,N} 的 有 限 齐 次 马 氏 链 的 转移 概率 矩阵 ， 则 有 某 个 
轴 使 得 aCP") 汪 0 的 充 要 条 件 是 aCP*%-02) 汪 0。 

注 事实 上 已 经 证 明 ， 当 NWN 之 3 时 ， 可 以 用 [CN 一 1)2?/2 十 1 代替 定理 1 中 的 
N(N—1)/2。 

定理 1 已 经 向 我 们 证 实 了 一 个 XXX 随机 矩阵 是 否 为 遍历 的 问题 ， 在 计算 机 上 是 可 以 
判定 的 。 于 是 现在 就 应 该 考虑 如 何 高 效 地 作出 判决 , 为 此 , 首先 注意 到 在 检验 a(P") 是 否 大 
于 零 的 过 程 中 , 并 不 需要 知道 转移 概率 pr*G，jE 5) 的 具体 数值 ,只 要 知道 ?名 (i, jE 5) 是 
否 非 零 就 够 了 .于 是 可 用 转移 概率 矩阵 P 一 [zj 的 关联 矩阵 2= [zj] 来 代替 PC( 参 看 V. § 2)， 
这 样 就 大 大 地 简化 了 检验 过 程 中 的 数值 计算 , 然而 所 得 到 的 检验 效果 却 一 样 。 昌 然 2== [zj] 
未 必 是 随机 矩阵， 但 是 仍 可 定义 Z 的 遍历 系数 如 下 ， 

a(2Z) 全 min Zo min( susan) 。 (4) 

容易 验证 : 对 任 给 的 m 个 NXN 随机 和 矩阵 P(D) ，! 王 1，…，m， 又 PCD 的 关联 矩阵 为 200)， 
二 1 mm， 则 PC1)P(C2),…PCm) 与 Z(1)Z(2)*…Z(m) 具 有 相同 的 关联 矩阵 。 特别 地 ， 对 任 
何 正 整数 wnw，P" 与 Zz* 有 相同 的 关联 矩阵 。 故 a(2") 之 0 的 充 要 条 件 是 a(2") 汪 >0, P 为 遍历 
的 充 要 条 件 是 对 某 个 正 整 数 加 有 al2") 汪 0。 当然 , 对 于 较 大 的 m, 在 经 中 有 可 能 出 现 某 些 
数值 很 大 的 元 素 , 造成 运算 上 的 麻烦 , 为 了 回避 这 种 情况 的 发 生 , 仍然 可 以 将 在 如， ,2 
中 的 正 整 数 元 素 都 简化 为 1, 即 用 ZZ'==[z 人 9] 的 关联 矩阵 Z0)==[z(0)] 来 代替 2, /二 2,…， 
mm， 其 “(DD =min{1, Sada}, i,，jE€E5, /1 二 2,，，…，m。 在 这 里 ,不 难看 出 ac(zP)>0 的 


充 要 条 件 是 a(Z《m)) 汪 >0。 因 此 以 后 不 妨 就 将 2" 看 作 是 ZCm)。 
例 1 随机 和 矩阵 
0 0 1 
P 一 |0 1/3 四 (5) 
1/4 3/4 0 
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的 关联 矩阵 Z 以 及 加 的 关联 矩阵 2(2) 依 次 为 
0 0 1 1 
0 1 | Z(2) 一 |1 1 1 
1 1 0 0 1 1 
容易 算出 aCP) 一 a(2) 一 0， 而 a(P2) 盖 0，a(2(2))>>0 所 以 已 是 遍历 的 。 

应 用 P 的 关联 矩阵 Z 而 不 是 尸 本 身 的 好 处 在 于 所 有 和 抢 阵 乘法 都 是 对 以 0 或 1 为 元 素 的 


矩阵 进行 的 ， 还 可 用 不 动 点 算法 ， 所 有 计算 是 数值 稳定 的 。 应 用 0 或 1 为 元 素 的 矩阵 
Z= [zj] 的 另 一 个 优点 是 


1 0 


民 三 » (6) 


DminCaa,zn) = Darap (7) 
在 计算 上 作 乘积 比 作 比 较 要 快 。 

对 和 任 给 的 入 XN 随机 和 矩阵 PP, 由 VY. 式 (5) 知 0Sa(P) 志 1。 再 利用 V. 式 (9) 便 知 : 如 果 
a(P") 守 0， 则 对 任何 1!=1，2,，…, 都 有 alP"+)>>0。 因此 当 a(2") 之 0( 或 a(Z(m)) 之 0) 时 ， 
则 aC2"+D>0( 或 a(ZGm 二 让) 沁 0), 1=1, 2,-…。 明显 地 , 计算 乘 短 2,27， 2 2 ，…， 2 
(或 Z，2ZC2)，Z(4)，2ZG8)，…，ZC24)) 比 计算 乘 短 名 ， 罗 ，， ZTDA( 或 加，Z(2)， 
Z(3)，…，ZCN(N 一 1)/2)) 效 率 更 高 。 因 此 取 MM 使 得 2!SN CN 一 1)/2 帮 2*， 逐 次 计算 
a(Z) ,a(Z(2))，al(2Z(4))，a(Z(8))，…，al(Z(2*))， 观察 其 值 是 否 大 于 零 ， 这 样 遍历 性 问 
题 便 可 较 快 地 得 到 判定 ,对 于 中 等 大 小 的 入 ,这 种 在 步骤 上 的 简化 是 有 意义 的 。 当 然 由 定理 
1 之 注 在 这 里 还 可 以 用 [ 全 也 一 十 1 | 来 代替 入 CN 一 1)/2. 

运用 定理 1 所 给 出 的 遍历 性 判定 准则 , 以 及 上 面 所 述 的 关联 答 阵 Z(2*)，, 立即 联想 到 两 
种 明显 的 算法 , 一 种 是 对 满足 2*!N CN 一 1)/2&<2* 的 24 求 出 2 (或 2(2*)), 然后 计算 
a(Z(2*)); 另 一 种 是 对 每 个 内 =1，2，… 计 算 wa(2C2%))， 直 到 a(Z(2*)) 汪 0 或 2% 之 NCN 
一 1)/2 为 止 。 显 然 ，“ 从 马 氏 链 是 遍历 的 ， 则 第 一 种 做 法 是 低 效 的 ， 如 果 马 氏 链 是 非 遍 历 
的 ， 则 第 二 种 做 法 是 低 获 的 。 

例 2 设 X=(X,,n 二 0,1,,…}) 是 离散 参数 有 限 齐 次 马 开 链 ， 其 状态 空间 S= {], 2，3， 
4} 、 转 移 概率 矩阵 P 及 其 关联 矩阵 2 依次 为 


0 0 1 0 0 0 1 0 
0 0 1 0 0 0 1 0 
一 » 2 一 9 (8) 
1/3 0 2/3 0 1 0 1 0 
1/2 1/2 0 0 上 | 1 0 0 


容易 算得 a(2)==0,al2?) 与 a(Z2(2)) 皆 大 于 零 。 因 此 应 用 第 二 种 算法 仅 在 第 二 步 就 判定 出 站 
是 遍历 的 。 如 果 采 用 第 一 种 算法 ， 那 么 首先 要 由 2* 之 4(4 一 1)/2=6 确定 出 MM 二 3， 然 后 依 
次 算出 轩 , 2 , ZZ:( 或 ZC2), Z(4), 2Z(8)), 最 后 计算 a(Z(8))。 这 里 , 在 显示 出 a(2(8))>0 
之 前 就 先 要 算出 如，Z'，Zs， 相 比 之 下 显然 不 如 采用 第 二 种 算法 效率 高 。 

如 果 X 的 转移 概率 矩阵 P* 及 其 关联 和 矩阵 2* 依 次 星 如 下 形式 : 


0 0 1 0 0 0 1 0 
0 0 1 0 0 0 1 0 
P* = 9 Ai 四 (9) 
1/3 2/3 0 0 1 1 0 0 
1/2 1/2 0 0 1 1 0 0 
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那么 相应 的 马 氏 链 X 具有 周期 子 类 G6={1,2}) ,G1={3,4)。 于 是 对 任何 正 整数 m, 在 P"“"( 或 
2Z”) 中 总 可 找到 两 行 ， 其 中 位 于 同一 列 的 两 个 元 素 总 有 一 个 为 零 ， 因 此 在 这 样 的 情况 下 
Pp" ?一 0 或 <(2 7) 一 0， GCCGn)) 一 0 一 1，2，…。 特 别 地 ，a(2 (2 )) 一 0，M 一 1， 
2，…， 由 此 可 见 ， 在 这 里 使 用 第 二 种 算法 是 低 效 的 。 

作为 第 一 与 第 二 这 两 种 极端 算法 之 间 的 一 种 折衷 方 法 是 应 用 2C2*) 的 某 种 性 质 来 确定 
是 否 还 要 去 计算 遍历 系数 。 直 观 地 ， 如 果 遍 历 系数 很 有 可 能 是 正 的 ， 那 就 应 该 计算 遍历 系 
数 。 如 果 看 起 来 遍历 系数 似乎 将 是 零 ， 那 就 应 该 去 作 Z* 的 平方 即 2*”， 也 就 是 考察 
Z(2*+1) ,为 了 判定 遍历 性 ， 将 这 种 直观 的 做 法 形式 化 的 一 种 尝试 ， 我 们 来 叙述 “ 列 和 法 ”。 

在 每 一 步 求 2(2*) 各 列 的 元 素 之 总 和 。 如 果 在 2(2*) 中 车 有 一 列 元 素 之 总 和 为 N, 则 遍 
历 系数 a(Z(2*)) 汪 0, 从 而 马 氏 链 必 是 遍历 的 。 如 果 在 ZC(2*) 中 , 若 有 一 列 元 素 之 总 和 等 于 
NN 一 1， 那 么 也 有 相当 的 可 能 使 遍历 系数 a(Z(2*))>>0。 在 这 人 情形 下 无 论 如 何 遍 历 系数 的 计 
算是 大 大 地 简化 了 。 事实 上 , 如 果 ZC2*) 的 第 j 列 中 仅 有 一 个 零 元 素 , 并 且 此 零 元 素 出 现在 
第 i 行 上 ,于 是 为 检验 a(Z(2*)) 是 否 为 正 的 ,只 要 将 第 i 行 与 其 它 和 N 一 1 行 作 比较 就 足够 了 。 


而 在 一 般 情 形 下 却 要 作 | 2 | 次 比较 。 这 便 节省 了 大 量 的 运算 与 比较 。 现 将 “ 列 和 法 ”归纳 


成 如 下 的 规则 ， 

@ 第 一 步 求 2(24) 各 列 元 素 之 总 和 。 

加 车 ZC2*) 中 有 一 列 元 素 之 总 和 为 N， 则 此 马 氏 链 是 遍历 的 ， 判 决 终止 。 

@@ 车 ZC(2*) 中 有 一 列 元 素 之 总 和 为 N 一 1, 便 计 算 a(ZC2*))。 如 果 ae(Z(02<)) 盖 0， 则 此 
马 氏 链 是 遍历 的 , 判决 终止 ,如果 a(Z(2*)) 一 0, 则 考虑 矩阵 2 的 平方 2, 即 对 Z(2*+!) 
重复 上 面 所 述 的 步骤 。 

图 若 2Z(24) 中 没有 一 列 元 素 之 总 和 为 或 Y 一 1， 便 考察 22 的 平方 , 即 对 ZC2*+!) 重 
复 上 述 步 又 。 这 些 规 则 已 被 概括 总 结 在 流程 图 1 中 了 。 

下 面 的 例子 说 明了 判定 遍历 性 的 列 和 方法 的 具体 使 用 过 程 。 

例 3 仍 采 用 例 2 所 给 出 的 转移 概率 矩阵 ?了 及 其 关联 和 矩阵 2Z, 如 式 (8) 所 示 。 各 的 第 三 列 
元 素 之 总 和 为 N 一 1 二 4 一 1 二 3， 但 是 a(2) 关 0， 故 计算 
-1 0 1 0 
E 9 1 0, (10) 
1 0 1 0 
| 0 1 0 
2Z(2) 的 第 三 列 元 素 的 总 和 为 Y， 由 此 可 知 忆 是 遍历 的 。 

再 考察 例 2 中 所 给 出 的 另 一 个 转移 概率 拖 阵 P* 及 其 关联 矩阵 2* ， 如 式 (9) 所 示 。 因 为 
Z' 中 各 列 元 素 之 总 积 的 最 大 值 2<X 一 1!， 所 以 我 们 立即 去 计算 

1 1 0 0 


Z(2) = 


1! 1 20 > C11) 
0 0 1 0 
0 0 1 0 


2 2) 中 各 列 元 素 之 意 和 的 最大 信 仍 为 20<N 一 ,在 设 有 计算 任何 沁 历 系数 的 情形 下 ,该 
着 去 算出 2"(8), 这 里 8> 二 一 二 一 6。 因 为 s(2"(8)) 一 0, 由 此 即 可 判定 P' 是非 遍历 的 。 
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计算 
al(2(2*)) 


作 Z** 的 平 
方 即 Z02**') 


非 遍历 的 


输出 办 


图 1 列 和 法 流程 图 


8$2 马尔 科 夫 链 的 分 析 


在 判定 了 马 氏 链 是 遍历 的 或 是 非 遍历 和 的 之 后 ,下 一 步 就 应 对 马 氏 链 作 进一步 的 分 析 , 为 
此 先 给 出 一 个 以 后 要 用 的 引 理 。 

引 理 3 设 P=[pyj 是 NXN 随 机 矩阵 , 知 果 i 过 j(i,jE 8), 有 菜 个 正 整数 使 得 只 人 
0， 则 必 有 正 整数 4 ! 志 AN 一 1, 使 哆 >0。 如 果 有 正 整数 m 使 得 pf"” 汪 0， 则 必 有 正 整 数 4: ! 
委 Y， 使 驴 >0。 

证 假定 池 j, 对 某 个 m 有 性 ' 汪 0, 这 意味 着 从 状态 i 转移 到 状态 ; 至少 有 一 条 路 径 ， 
i 一 bb- 一 和 -ii 一 ) 具有 正 概率 ， 即 p 罗 之 Pipio…P,_wj 之 0 去 掉 此 路 径 中 的 所 有 回 
路 ， 即 著 训 二 i ， 便 去 掉 一 说 一 +r 这 一 段 路 径 ， 用 zs 来 代替 po ,Ps 
Pris 这 样 所 得 到 的 新 路 径 ;一 将 一 一 中， 区 和 六 这 十 1 个 状态 两 两 都 
不 相同。 既然 8 只 含有 个 不 同 的 状态 ,因此 不 仅 IKm, 而 且 ! 十 1<N, 故 发 N 一 1， 并 由 
C- 开 方程 有 

ph 2 pet Phi sp i 之 Pi" >0 

对 于 ;=; 的 情形 用 类 似 的 方法 可 证 。 引 理 证 完 。 
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1. 非 遍历 马尔 科 夫 链 的 分 析 


现在 考虑 对 非 遍 历 随机 和 抢 阵 进行 分 析 的 问题 。 首 先 将 此 矩阵 写成 分 块 抢 阵 的 形式 ， 基 
本 的 想法 是 由 一 个 常 返 状态 去 生成 包含 有 此 状态 在 内 的 不 可 分 闭 子 集 。 接 连 不 断 地 这 样 做 
下 去 ， 直 到 不 再 有 剩 下 的 常 返 状态 为 止 。 目 此 可 见 ， 头 一 个 河 题 是 如 何 寻 求 一 个 常 返 状态 。 

由 工 , $ 1. 4 中 的 定义 及 工 . $ 2. 定理 13 知 : 状态 i 是 常 返 的 充 要 条 件 是 

2 =1, 或 2 一 oo 。 

这 些 条 件 在 大 多 数 情形 中 在 计算 机 上 是 不 可 能 检验 的 ,所 以 在 一 个 非 遍历 的 随机 和 拖 阵 中 ,应 
该 给 出 寻求 常 返 状态 的 某 种 可 供 选择 的 方法 。 为 了 开发 这 样 的 方法 ， 我 们 对 于 用 来 判 证 
历 性 的 列 和 法 进行 修改 。 特别 是 原先 的 列 和 法 要 求 逐次 地 考察 矩阵 等 2 直到 a(Z(2“)) 之 0 
或 2 关 NCV 一 1)72 为 止 , 而 现在 要 求 考察 的 宪 直 到 ac(Z(2)) 盖 0 或 2 过 (一 1 为止。 宪 
次 CN 一 1)? 的 意义 在 下 一 个 定理 中 将 变 得 显而易见 .为 了 记 法 上 的 方便 , 令 忆 就 是 使 让 历 性 
问题 得 以 判定 的 2 的 等 次 。 对 于 非 遍历 马 氏 链 有 7 之 (YY 一 D"， 因此 下 列 定理 可 用 于 寻求 党 

态 。 读 者 会 发 现 该 定理 的 证 明 有 点 难以 领会 于 是 对 仅 有 一 个 常 返 状 态 的 不 可 分 闭 子 
集 ， 并 且 仅 有 一 个 或 两 个 非常 返 状 态 的 特殊 情形 去 完成 该 定理 的 证 明 会 是 有 益 的 。 

定理 2 设 忆 是 一 非 遍历 的 随机 和 矩阵 , 如 果 P? 的 关联 和 矩阵 ZCL) 的 第 i 列 中 的 元 素 之 总 


和 是 最 大 的 ， 即 入 一 max, 之 7z%， 则 状态 i 是 常 返 的 。 

证 “根据 状态 空间 的 分 解 定理 ,以 也 记 状态 空间 8 中 全 体 非常 返 状 态 集 , 又 以 01 …， 
Cu 记 常 返 状 态 的 不 可 分 闭 子 集 ,8 可 表示 成 不 交 并 DUCiU…UC。。 如 果 2D 多, 则 8 中 所 
有 的 状态 都 是 常 返 的 。 当 然 具有 最 大 列 和 的 状态 也 是 常 返 的 ， 故 结论 成 立 。 现 在 设 D 夭 纪 ， 
为 了 使 论证 清楚 起 见 ， 将 P 的 关联 矩阵 2 及 其 短 2 写成 分 块 矩 阵 的 形式 ， 


Zz 0 … 0 0 [用 0 . 0 0 
0 六 0 0 0 下 0 0 

/AE oo >» DE | > (12) 
0 0 .四 | 0 0 ,四 0 
A: 4 2 A A 


这 里 2 是 相应 于 [piyjiec 的 关联 和 矩阵 ，/==1，…，m，B 是 相应 于 [pjijeb 的 关联 矩阵 、 并 
假定 B7 的 关联 矩阵 中 有 一 列 , 它 含有 i 个 1, 那么 只 要 能 够 证 明 ;: 在 乡 的 关联 矩阵 Z(Z) 中 ， 
所 有 对 应 于 C1,U…UC。 此 状态 集 的 全 部 列 里 必 存 在 着 至 少 含有 ! 十 1 个 1 的 列 就 足够 了 。 

不 失 一 般 性 , 假定 在 Br 中 对 应 于 状态 jCjE D) 的 那 一 列 有 ! 个 1， 这 就 是 说 ， 从 /个 不 
同 的 非常 返 状 态 六,…，, 记 出 发 经 工 步 转移 都 能 达到 状态 j, 又 根据 工 . 定理 42 及 有 限 马 氏 
链 的 假设 ,从 非常 返 状 态 ;出 发 至 少 要 达到 一 个 常 返 状 态 , 仍 不 失 一 - 般 性 可 假定 存在 某 个 正 
整数 及 常 返 状态 iE Ci 使 得 关联 矩阵 ZCM) 中 元 素 ziCM)= 二 1。 所 以 由 相应 于 22+*( 或 
2Z(L 十 MM)) 的 转移 概率 矩阵 Pr+* 知 ， 从 这 些 ! 个 非常 返 状 态 户 ，…， 六 出 发 都 可 达到 常 返 状 
态 i, 在 假定 了 存在 车 于 非常 返 状 态 的 前 提 之 下 ,C4 中 所 含 的 状态 个 数 最 多 不 超过 六 一 1, 于 
是 将 引 理 3 应 用 到 不 可 分 常 返 状 态 闭 子 集 C， 上 便 知 必 存 在 正 整 数 b 人 和 N 一 1 使 得 (5) 二 1。 
进而 再 按 G1 是 非 周期 的 或 周期 的 两 种 情形 分 别 进行 考虑 。 
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如 果 C, 是 非 周期 的 ， 那么 应 用 转移 概率 矩阵 户 ，P2，… 或 改 ，2Z*，…， 从 这 些 ! 个 D 
中 的 状态 六,，…, 六 出 发 都 可 达到 常 返 状态 i。 即 因 Ci 是 非 周 期 的 ， 利 用 数论 知识 可 证 "3 
以 此 P 为 转移 概率 抢 阵 的 马 氏 链 不 存在 有 持续 避 开 状态 ;的 危险 . 又 因 状 态 空间 仅 有 人 六 个 
状态 , 所 以 在 任何 两 个 不 同 状态 之 间 的 所 有 可 能 转移 路 径 中 , 去掉 转移 路 径 中 的 一 切 回路 ， 
这 样 从 一 个 状态 到 另 一 个 状态 的 可 能 转移 总 可 以 经 过 入 一 1 步 或 更 少 步 数 的 转移 后 完成 。 
因此 应 用 转移 概率 矩阵 妃 ， 以 这 ! 个 非常 返 状 态 户 ，…， 中 的 每 个 状态 出 发 , 都 能 在 经 过 
NW 一 1 步 或 更 少 步 数 的 转移 后 达到 状态 ;。 注意 到 在 这 转移 概率 矩阵 P 或 相应 的 多 、2(b) 之 
下 ， 因 为 a (6) 二 1， 即 相应 的 次 0， 听 0， 一 旦 进程 达到 状态 i， 必 以 正 概 率 保持 避 留 
在 状态 i 上 。 于 是 在 ZCN 一 1)) 中 ， 对 任何 条 ,+ 二 1，…， li 有 ziCbCN 一 1)) 二 1。 既 然 
是 闭 的 常 返 状态 集 , 那么 必 有 某 个 状态 EC, 使 办 -中 >>0, 相应 地 有 z(L 一 4CN 一 1)) 
一 1， 从 而 得 
1 aT) obN Oo DalL— BN 1))=1, 7 一 1 (13) 
又 由 于 不 可 分 转移 概率 矩阵 中 的 每 一 列 至 少 有 一 个 正 元 素 ， 故 对 应 于 C 的 矩阵 
[zjC5) jisec, 中 的 每 一 列 都 至 少 有 一 个 1。 综 上 所 证 便 知 2C5L) 中 的 第 £ 列 至 少 有 十 1 个 1， 
结论 得 证 。 
如 果 C 有 周期 4， 由 工 . 定理 38 及 定理 40, Ci 可 分 解 成 4 个 周期 类 G6, G1,，…,， Gi， 
使 得 在 转移 概率 矩阵 了 之 下 , 此 马 氏 链 的 运动 统计 规律 是 从 G, 中 的 状态 出 发 , 下 一 步 必 定 
转移 到 G4 之 中 ,x 二 0,，*…，d 一 1， 这 里 G4 理解 为 G6。。 这 些 赔 期 类 中 的 每 一 个 都 可 作为 是 
在 转移 概率 矩阵 P 之 下 的 一 个 不 可 分 非 周期 马 氏 链 的 状态 空间 。 于 是 只 要 把 对 应 于 书 或 
区 的 关联 和 矩阵 2(d) 来 代替 尸 的 关联 矩阵 2， 而 用 Go，cC，…，C.-: 中 之 一 来 代替 C;,， 这 里 
的 周期 情形 就 简化 为 前 面 的 非 周 期 情形 了 。 要 注意 的 是 , 因为 在 所 考虑 的 情形 下 从 这 ! 个 非 
常 返 状态 六 ，，…， 庆 出 发 经 也 步 转移 能 够 达到 状态 j, 那么 从 这 ! 个 非常 返 状 态 户 ，…， 庆 出 
发 经 过 若干 上 的 倍数 步 转移 ， 无 论 如 何 是 要 进入 到 Co，C，…，C-: 之 一 中 去 的 。 为 了 提供 
论据 ,我 们 假设 md) ==1, 7 二 1，…，!。 还 要 注意 到 在 非 周期 情形 中 所 选 定 的 ,使 za(b 
二 1 的 正 整数 "现在 该 星 这 样 的 形式 5 一 如 和 v 一 1。 对 此 ， 不 再 作 详细 的 论证 了 。 
例 4 设 有 限 齐 次 马 氏 链 民 = (X,,n 二 0,1,…}) 的 转移 概率 矩阵 P 为 
1/2 0 0 1/2 0 0 
0 1/3 2/3 0 0 
0 1/2 1/8 1i/8 0 
1/3 0 0 2/3 0 0 
1 
0 


， (14) 


0 0 0 0 
0 1/4 1/2 0 1/4 
状态 空间 5= {1,2,…,6)。 容 易 看 出 此 链 有 两 个 由 常 返 状 态 构 成 的 不 可 分 闭 子 集 C= {1， 
4}，Cs 一 {5)， 而 其 余 的 状态 2，3，6 都 是 非常 返 的 。 现 在 使 用 定理 2 所 给 出 的 方法 ， 式 
(14)P 的 关联 矩阵 2 为 
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100100 
011000 
0 11101 
Z= (15) 
100 100 
000010 
011001 
现在 N==6, 使 2 之 (N 一 1)? 二 25 的 最 小 的 正 整 数 M=5, 即 =25==32>25。 而 且 21 一 2 
的 关联 矩阵 为 
100100 
1 11101 
zl ilo C16) 
100100 
000010 
i111101 


在 此 ZC32) 中 第 1 列 与 第 4 列 的 元 素 之 和 皆 为 5, 这 是 最 大 的 列 和 , 由 定理 2 即 可 断定 相应 
的 状态 1 与 4 是 常 返 的 。 定 理 2 仅仅 提供 了 一 种 寻求 一 个 常 返 状态 的 方法 。 如 果 想 要 找 出 
所 有 的 常 返 状 态 那 么 还 需要 更 多 的 理论 。 

一 旦 找到 了 一 个 常 运 状 态 ;， 则 由 此 状态 ;生成 的 不 可 分 闭 的 状态 子 集 CC 让 可 构造 如 
下 : 令 Go= tl:m(D=1,， jE€E8), 如 果 i 是 非 周期 的 , 那么 06 就 是 由 状态 ; 生成 的 完全 的 不 
可 分 的 闭 的 状态 子 集 。 然 而 ， 因 为 ;也 可 能 是 周期 的 , 所 以 令 @= (mi 人 (十 1 一 1，JESh， 
如 果 =0o， 则 便 知 状态 i 是 非 周期 的 , 而 且 Ce 一 CGD) 。 如 果 2 天 co 那么 我 们 继续 求 出 G2 
二 {j:z(L 十 2) 二 1， jE5), 如 此 等 等 直到 G4=06 为 止 。 这 个 使 Ce 一 Co 的 最 小 的 正 整数 之 就 
是 CCD 的 周期 ,而 且 CCi) 被 确定 为 CCi) = 了 UG 这 个 过 程 得 到 了 由 状态 i 生成 的 不 可 分 闭 子 
集 并 确定 了 它 的 周期 。 

下 一 步 工 作 是 要 寻求 另外 的 常 返 状态 以 及 与 它 相 联系 的 闭 集 。 若 在 2《L) 中 能 够 直接 找 
到 含 1 的 个 数 是 次 最 大 的 列 , 此 列 所 对 应 的 状态 是 否 为 常 返 的 呢 ? 这 是 需要 慎重 考虑 的 。 回 
到 例 4 上 , 我 们 已 知 状态 1 是 常 返 的 , 而且 &(D= (1，4)。 又 在 式 (16) 的 2632) 中 ， 除 了 
第 1 与 第 4 列 之 外 , 含有 元 素 1 的 个 数 次 最 大 的 是 第 2、 第 3、 第 6 列 ， 令 人 遗憾 地 是 所 有 
这 些 列 对 应 的 状态 2、3、6 都 是 非常 返 的 。 因 此 定理 2 所 提供 的 这 种 方法 不 能 直接 地 帮助 
我 们 去 寻求 除了 状态 1、4 之 外 的 其 它 常 返 状态 了 。 

然而 , 我 们 可 以 通过 运用 下 列 措施 来 寻求 男 外 的 常 返 状 态 。 在 这 一 点 上 , 由 工 . 定理 34 
及 定理 35，CG) 中 的 所 有 状态 都 已 被 分 类 为 常 返 的 ,因此 可 以 从 进一步 考察 寻求 的 范围 内 
咯 去 CGD)。 此 外 ,对 任何 一 个 在 CG) 之 外 的 状态 区 位 C(GD)， 如 果 从 状态 上 出 发 能 够 达到 CG) 
内 的 某 个 状态 ?， 则 此 二 必定 是 非常 返 状 态 。 事 实 上 ， 倘 若 状 态 上 是 常 返 的 ,由 工 . 定理 15 
之 推论 知 : 是 本 质 状态 ,那么 由 j 可 达到 4， 既然 JECG)。 且 CG) 为 闭 集 , 故 上 ECG)、， 这 
与 上 CGO 矛盾 。 所 以 这 时 在 CG) 之 外 又 从 它们 出 发 可 达到 CC 内 的 状态 集 也 可 略 去 不 陡 考 
虚 。 

鉴于 这 些 评注 ,可 将 相应 于 Pr 或 27 的 关联 矩阵 Z(ZD) 改 变 成 下 面 的 形式 , 即 在 2Z(Z)7 里 ， 
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将 对 应 于 CC 中 状态 的 所 有 行 和 列 的 元 素 都 置 为 零 ， 同时 将 对 应 于 从 它 出 发 能 达到 CG) 内 
的 状态 的 所 有 行 和 列 的 元 素 也 都 置 为 零 。 下 面 的 步骤 将 是 让 计算 机 去 执行 完成 上 面 所 述 的 
操作 。 首 先 从 CD) 里 面 的 每 个 不 相交 子 集 G1: 二 人 j:3《L 十 站 二 1，jE5) 中 选择 一 个 状态 
有 EEC， 一 0，1，…，d 一 1, 并 定义 ， 

Do = (jap DD) = jE 8), Di = jjisn (Ll) = 1 € 8),, 


1 一 1 
Di 一 {jn 《77 = 1,7€ 5S}, S44 = U2 (17) 


既然 (1) 是 由 常 返 状态 i 生成 的 不 可 分 闭 集 ，0() 二 UG,， 以 及 I. 定理 15 与 定理 34， 由 
此 可 得 多 包含 了 所 有 与 状态 i 互通 的 常 返 状态 以 及 所 有 从 它 出 发 能 达到 状态 ;的 非常 返 状 
态 ， 现 在 定义 一 个 新 的 抢 阵 2 一 [中 jjes 如 下 : 

~ /a3(D), 当 i,j €E 8 — D, 

2 一 0, 其 它 ， (18) 
于 是 2 的 任何 具有 最 大 列 和 的 列 再 次 重新 对 应 于 常 返 状 态 。 从 而 前 面 早已 叙述 过 的 寻求 与 
常 返 状态 相 联系 的 不 可 分 闭 集 的 方法 又 能 被 使 用 了 。 回 到 例 4 上， 我 们 看 出 CC(D = {1， 
4} 而 雹 = (1，2，3，4，6)}， 因 此 


° (19) 


OO OO Oo SO 
SO OO OO Oo oOo 
OO OO OCO 
OO OO OO OO OOD 
OO OOOOOR 
ODO DO OC Oo oo 


0 0 0 
有 中 含 元 素 1 的 个 数 最 大 的 列 是 第 5 列 , 所 以 状态 5 是 常 返 的 。 对 此 下 立即 可 知 G8 =6? 
二 {5}， 故 与 状态 5 相 联系 的 闭 集 是 吸收 集 人 5)} 。 
总 之 ,对 ZY 相应 的 ZC) 施行 的 这 种 简化 变形 手续 可 以 继续 做 下 去 , 直到 此 移 阵 只 含 堆 
元 素 为 止 。 到 此 所 有 的 不 可 分 闭 子 集 及 它们 各 自 的 周期 都 被 识别 确定 出 来 ， 剩 下 的 状态 都 
是 非常 返 的 。 至 此 只 要 将 P 中 某 些 适当 的 行 和 列 的 位 置 作 一 简单 地 交换 ， 很 容易 地 就 可 将 
P 写成 分 块 的 形式 了 ， 


P: 0 0… 0 0 
0 P 0 .:. 0 0 
0 0 Ps “eo. 0 0 
P= , ， (20) 
0 0 0 … P。 0 
RI Re RPR 0Q 


其 中 Pi 是 对 应 于 常 返 状 态 不 可 分 闭 子 集 C; 的 P 子 矩阵 ,8 是 对 应 于 全 体 非常 返 状 态 集 D 的 
P 子 和 矩阵， 并 记 8 二 [qjiyes。 

分 析 非 遍历 随机 和 矩阵 的 最 后 一 个 问题 是 寻求 从 非常 返 状 态 出 发 的 平均 吸收 时 间 与 吸收 
概率 (参看 下 .$4)。 容 易 看 出 ， 对 任何 正 整数 *， 由 式 (20) 有 
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Pi 0 0 0 0 
0 Pi,0 0 0 
0 0 BB 0 0| 
= 9 (21) 


0 0 0 .» Pp 0 
RY RY RY oe RY 
着 记 人 = 二 [gq 织 jiyes， 则 对 任何 w=1，2，… 及 i,，jED 有 
SPEl, PEl, gt = 2)g9, (22) 
引 理 4 设 X (和 ,10,1,.) 是 有 限 齐 次 马 氏 链 ， X 的 状态 空间 S 为 {1,:,，N}, XX 
的 转移 概率 矩阵 P 已 写成 分 块 形式 (20)， 则 存在 
(ff— 0 =1 二 8 二 全 十 一， (23) 
其 中 7 是 与 9 有 相同 行 ( 列 ) 数 的 单位 矩阵 。 
证 记 8=/，M,==1 十 8 十 十 9 ，n 二 ]，2，…， 则 有 
MOU)=U0— OM= -Ct, n= 1,2,, (24) 


因此 ， 当 soo 时 ，M. 收 伍 的 充 要 条 件 是 之 @ 收 僵 。 如果 Mid. 收敛 于 M， 那么 Ct! 一 = 0 


天 一 > oO 
即 收敛 于 零 矩 阵 。 于 是 由 式 (24) 得 
MI 一 9) 一 (人 一 4 和 1 一 1 (25) 
此 中 M= (一 和 7)-:， 式 (23) 得 证 。 


为 了 证 明 M,= 22Q 收敛， 只 要 证 ， 对 任何 非常 返 状态 i，jE D， 有 之 9 名 <oo 就 是 名 
了 。 为 此 我 们 首先 指出 2q 旬 表示 马 氏 链 X 从 状态 ;出 发 到 达 状 态 ;的 期 望 次 数 。 假 定 
Xo 二 记 ;定义 


Y, = 1, XX, 二 ) 
| 如 果 X = ,1 (26) 


六 = 0， 。 如果. 关 放 
显然 玉 . 一 入 ， 而 DY, 表示 X 从 状态 ;出 发 到 达 状态 ; 的 次 数 ， 于 是 应 用 伟 比 尼 定 理 可 得 
B[ Sr.]= Spgy, = Sp, (27) 

此 外 表示 X 从 状态 ;出 发 到 达 状 态 ; 的 期 望 次 数 还 有 另 一 种 方式 , 即 定义 随机 变量 WW， 


为 X 从 ;出 发 到 达 了 的 次 数 。 回 忆 工 . 式 (4)f 表 示 X 从 i 出 发 经 有 限 多 步 转移 终于 要 到 达 
j 的 条 件 概 率 ，f; 表 示 从 ;出 发 终于 要 返回 到 ;的 条 件 概率 。 因 此 有 : 


PAW = 0D) = fyfyr'(l — fi (一 ], 2， 《28) 
应 用 此 式 便 得 
BWy = Pfs — fy) = rt jED,， ij。 (29) 
全 1 广 


(如 果 i==j, 应 再 加 上 1, 因为 在 零 时 刻 已 达到 力 既 然 了 是 非常 返 状态 .由 工 , 定理 13f;<1， 
故 依 式 C29) BW 之 co。 然而 B[ > 了] 一 Bl 于 是 从 式 (27) 便 得 之 40?<o2, i, jED, 即 1 
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十 4 十 伴 十 … 收 敛 于 一 有 限 抢 阵风 ， 且 = (一 0) ， 引 理 证 完 。 

定理 3 设 关 是 一 有 限 齐 次 马 氏 链 , 其 状态 空间 8 与 转移 概率 矩阵 已 已 如 引 理 4 所 给 。 
又 记 妃 为 X 从 非常 返 状 态 i 认 ED) 出 发 的 平均 吸收 时 间 , 即 进 入 常 返 状态 集 的 平均 时 间 , 记 
列 向 量 8=[E.jesp， 则 有 : 

B= [Ekle = MI, (30) 

其 中 1 是 元 素 缘 为 1 的 与 D 相应 的 行 向 量 [1，…，1j。 

证 依 久 的 定义 ， 对 任何 ED 有 

Bi 一 》)LPCX 从 i 出 发 ,在 第 1 步 被 吸收 ) 


Ew] 


co (一 1 


二 5) 5\P(X 从 i 出 发 ,在 第 1 步 被 吸收 ) 


fl] nr0 


一 冯 总 PCX 从 :出 发 ,在 第 1 步 被 吸收 ， 
台 PCX 从 ;出 发 ,在 第 ? 步 以 后 被 吸收 ) 
一 Dros 出 发 ,经 # 步 转移 未 被 吸收 ) 
= > De = D>, (31) 


n=0 jED 


式 (31) 中 第 三 个 与 最 后 一 个 等 导 成 立 是 因为 使 用 了 传 比 尼 定 更。 再 由 引 理 4 即 得 本 定理 。 
尽管 在 非常 返 状 态 较 多 的 情形 下 ,计算 道 矩阵 (1 一 9) :并 不 容易 ， 但 是 比 起 求 给， 


"一 1，2，*…，i，jED 及 2 2 多 无疑 要 容易 得 多 ， 而 且 求 逆 矩 阵 已 有 不 少 算法 可 在 计算 
机 上 完成 。 因 此 由 引 理 4 及 定理 3 提供 的 这 种 平均 吸收 时 间 的 计算 方法 是 方便 而 有 效 的 ,党 
称 为 基本 和 矩阵 法 ， 称 M 为 基本 矩阵 。 沿 用 此 方法 还 可 计算 出 吸收 概率 。 

定理 4 设 X 是 一 有 限 齐 次 马 氏 链 ,状态 空间 5 与 转移 概率 矩阵 P 已 如 引 理 4 所 给 ,对 
任 给 的 非常 返 状 态 iE 了 7 及 任 给 的 常 返 状态 4E 8 一 D 一 广 ， 用 ax 记 从 i 出 发 被 吸收 的 概 
率 ， 以 由 ， 放 DGEZ 为 元 素 构成 的 矩阵 记 作 4 二 [ownjiepwerr。 又 将 式 (20) 中 ,，P 的 子 条 
阵 [Ri Ri Re…Bm] 记 作 R， 则 有 

A= MMR。 (32) 

证 ”为 了 使 证 明 在 记号 上 简便 起 见 , 不 失 一 般 性 假定 仅 有 两 个 非常 返 状 态 ， 即 D= {i， 
四 。 又 以 m 记 从 非常 返 状态 ;出 发 经 一 步 转移 到 常 返 状 态 的 概率 。 实 际 上 ,reiE DG 
就 是 R 中 的 元 素 ， 而 且 mm 二 pa。 仍 记 二 Py，i，jED。 显然 应 有 : 对 iED, KEV 

ou = ri 二 qari 十 gr 十 gsra 十 gra 十 十 92874 十 9377 十 


二 ra Dg 十 ra Sqp ° (33) 
n=0 n= 0 
由 式 (33) 及 引 理 4 中 的 式 (23) 即 得 式 (32)， 定 理 得 证 ， 


例 5 设 X= {X,, 4==0,，1,，…) 是 以 8 一 (1，…，10} 为 状态 空间 的 有 限 齐 次 马 氏 
链 ， 其 转移 概率 矩阵 为 
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0 0 0 0 0 0 0 0 0 
0 1/2 0 1/2 0 0 0 0 0 
0 0 1/2 0 1/2 0 0 0 0 0 
0 0 0 0 0 0 1 0 0 
1 0 0 0 0 0 0 0 0 
P= ， (34) 
0 0 0 0 0 1 0 0 0 0 
1/4 0 1/4 0 1/4 1/4 0 0 0 0 
0 0 0 0 0 0 0 1 0 
0 1 0 0 0 0 0 0 0 
1/10 1/10 1/10 1/10 1/10 1/10 1/10 1/10 1/10 1/10 
相应 的 关联 和 矩阵 为 
0000100000 
0 101000000 
0010 100000 
0000000 100 
1000000000 
2 一 ， (35) 
00000 10000 
10 101 10000 
00000000 10 
0 100000000 
1 111111111 
因为 链 X 是 非 遍 历 的 , 并 且 (N 一 1)?=(10 一 1)?==81, 故 必须 取 7 以 便 2'=128 宇 81(2'=64 


<<81)，P23 或 22 相 应 的 关联 矩阵 为 


2(128) = 


+ OOD ”= OO OO ~ OO 


一 OO SO OO 一 ~ OO 


1 


—_ OO OO Op~ OO 


OO DD- DO OO 


-OD OO DO- Om ODDO 


ODO~ 一 OO OO oo 


1 


OO 


] 


一 OO OO Oo OO Oo OO ooo 


天 


， (36) 


OO Oo © PP OD 


| 一 


由 列 和 法 知 状态 2，4， 8 和 9 是 常 返 的 。 从 状态 2 开始 可 得 Go= (2，4，8，9)， 而 且 
CO 一 (2， 4，8， 9} ,因此 不 可 分 闭 集 {2， 4，8， 9} 是 非 周期 的 。 对 应 于 此 闭 集 的 状态 集 
名 =220 二 {2，4，8，9，10} ,从 而 新 矩阵 2 旺 如 下 形式 ， 
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ODO 一 OOOO ~ OO 一 
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OO DP OD PO OO 


OO ~ OO OO OO ~ OR 


0 


OO OO OO OO OO Oo OO Oo 


ODO 一 OP OP~ OO 


0 


OOD OO OO OO OD 
DOO 人 OOOoO 和 OO 


0 


之 有 
乙己 己 己 己 王 王 王 王 


0 


9 (37) 


DOO OO OO oO Oo oo 


再 次 应 用 列 和 法 可 以 看 出 状态 1 和 5 是 常 返 的 。 再 从 状态 1 开始 得 到 G6 二 {1} ,G4 二 {5)， 
0 二 {1) ,于 是 由 状态 1 生成 的 不 可 分 闭 集 是 {1，5}， 并 且 它 有 周期 2。 义 对 应 于 此 闭 集 的 
集 名 =2%U Di, 这 里 级 ={1，3, 7)}, 2TD1 二 {3，5, 7)。 而 现在 的 新 矩阵 2* 旦 下 面 的 形 


式 ， 


DODO OO OO OO OO OO OO OO Oo oO 


OO OO OO OO OR SO Oo oo 


DD OO DO OO OO Oo 


DO OO OO OO OO OOOO 


0 


0 


OO OO PD oO © 


OO OO OO OO OO OO Oo SO 
SO Oo OO Oo ODSo 


OD DOO OO DO OO OO OO 
OO OO OO Ooo 


0 


， (38) 


SS OO OO OO OO OO OO oS 


由 此 可 见 状态 6 是 吸收 状态 。 将 P 中 的 行 和 列 重新 按 (2，4，8，9，1i1，5，6，3，7，10) 的 
次 序 排列 ， 就 可 将 忆 重 写成 分 块 抢 阵 的 形式 ， 得 


1/2 1/2 
0 0 
0 0 
1 0 
p= 0 0 
0 0 
0 0 
0 0 
0 0 
1/10 1/10 


0 0 
1 0 
0 1 
0 0 
0 0 
0 0 
0 0 
0 0 
0 0 
1/10 1/10 


应 用 定理 3 与 定理 4， 计 算 


1/4 


1/10 


1/4 
1/10 


1/4 
1/10 


0 0 0 
0 0 0 
0 0 0 
0 0 0 
0 0 0 
0 0 0 ， (39) 
0 0 0 
1/2 0 0 
1/4 0 0 


1/10 1/10 1/10 
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1/2 0 0 0 0 0 0 0 1/2 0 
4 一 区 0 0 | 0 0 0 0 1/4 1/4 | 
1/10 1/10 1/10 1/10 1/10 1/10 1/10 1/10 1/10 1/10 
(40) 
1/2 0 0 1]-: 2 0 0 
— 1/4 1 0 | 一 区 1 0 | (41) 
一 1/10 — 1/10 9/10 5/18 1/9 10/9 
故 由 式 (30) 与 式 (32) 得 平均 吸收 时 间 与 吸收 概率 : 


M 一 (一 9) 一 一 


2 1/2 5/18 
E= [BB,Bo0]={1,i,1]l0 1 we |- [2,3/2,3/2] 。 (42) 
0 0 10/9 
as Ga Ga Ga Gs Gas aa 
4 一 Ek Gm dm On a Qs ar = ME 
Qi02 O04 G08 Biog Hol 005 C10,6 
0 0 0 0 0 1 0 
一 |。 0 0 0 LU4 1/2 | 。 (43) 
1/9 1/9 1/9 1/9 5/36 5/18 5/36 


2. 遍历 马尔 科 夫 链 的 分 析 


分 析 遍 历 马 氏 链 的 重要 问题 是 寻求 链 的 平稳 分 布 。 我 们 已 经 知道 ; 如 果 以 5= {1，…， 
VW) 为 状态 空间 ,以 了 二 [pj 为 转移 概率 矩阵 的 有 限 齐 次 马 氏 链 X 是 遍历 的 ,那么 必 有 平 
稳 分 布 {hi i€S}, 记 作 下 一 [Cr ， "ony Tv ]。 而 且 此 zx 可 通过 求 方程 组 xP 二 7 的 满足 条 


件 2z 一 1 的 非 负 解 而 得 到 。 我 们 将 给 出 在 计算 机 上 求解 此 方程 组 的 两 种 方法 。 
方程 组 aP 一 + 有 无 穷 多 个 解 , 为 了 得 到 平稳 分 布 必须 应 用 条 件 和 二 1。 应 用 此 条 件 的 


一 种 方法 是 用 方程 2 m=! 代 换 N 个 方程 了 一 2 mpy, j=1, ,NN 中 的 任何 一 个 ， 所 得 
的 含有 Y 个 未 知 数 的 NN 个 方程 组 有 唯一 解 , 并 且 可 应 用 许多 标准 程序 中 的 一 种 , 在 计算 机 
上 求 得 此 解 。 


解 aP=r 及 t==1 的 第 二 种 方法 是 将 含 Y 个 未 知 数 的 Y 个 方程 组 rp 一 简化 成 全 


有 一 1 个 未 知 数 的 Y-- 1 个 方程 的 并 具有 唯一 解 的 方程 组 。 然后 再 用 条 件 他 二 一 1 得 到 平 
稳 分 布 。 即 因 方程 组 rzP 一 “具有 多 余 的 未 知 数 ,于 是 通过 用 常数 1 取代 二 ，i=1,， …, 六 中 
的 一 个 ， 可 得 到 一 个 可 解 的 方程 组 。 使 用 这 种 方法 仅 有 的 问题 是 置 为 1 的 m 必须 不 是 mp 
7 及 包 ' 一 1 的 解 向 量 中 的 零 元 素 。 换 言 之 , 中 置 为 1 的 坐标 志 对 应 的 状态 i 必须 是 正 


常 返 的 而 不 是 非常 返 的 。 所 以 在 确定 了 马 氏 链 的 遍历 性 时 ， 如 果 应 用 这 种 方法 ， 对 任 一 党 
返 状 态 必须 能 被 进一步 识别 是 正常 返 的 还 是 零 常 返 的 ， 
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下 面 的 四 个 引 理 指出 在 一 个 遍历 的 随机 和 矩阵 上 应 用 列 和 方法 保证 能 找到 一 个 常 返 状 
态 。 前 三 个 引 理 指出 : 列 和 方法 总 能 找到 一 列 ， 该 列 上 所 有 元 素 的 总 和 是 YY 和 入 一 1。 最 后 
一 个 引 理 指 出 相应 于 此 列 的 状态 是 常 返 的 。 

引 理 5 如 果 P(1) 和 P(2) 是 两 个 同 阶 的 随机 和 矩阵 ,又 P(1) 的 第 列 无 零 元 素 ， 即 ?外 
>0, 径 83, 则 积 P(2)P(CL) 的 第 上 列 无 零 元 素 。 

证 P(2)P(1) 的 第 + 列 元 素 为 pu(2)pa(1)， iE 58。 既然 py(2) 守 0， Bw i, 


j€ES, pa(l)>0, jES, 让)>0, i€ES。 证 完 。 


引 理 6 设 ? 是 一 个 有 限 齐 次 马 氏 链 X 的 和 NXN 转移 概率 矩阵 ，N 之 1。 如 果 马 氏 链 工 
是 不 可 分 的 非 周期 的 ， 那 么 对 某 个 状态 i; 必 存在 一 个 ! 夺 N 一 1C 可 以 是 有 赖 于 i 的 ) 使 得 
?>0。 

证 如果 对 所 有 的 状态 i 都 是 p=0, !=1,…, 一 1， 因 为 X 是 有 限 不 可 分 马 氏 链 ， 
依 X . 定理 2 之 推论 每 个 状态 i 都 是 正常 返 的 ， 于 是 必 有 某 正 整数 1 使 p99 汪 0， 再 利用 引 理 
3 3 便 知 ZJ">>0， 故 当 且 仅 当 :为 Y 的 正 整 数 倍数 时 才 有 p89 二 0， 即 i 是 周期 为 必 的 周期 状 

， 这 与 X 是 非 周期 的 假定 牙 盾 。 由 此 引 理 得 证 。 

回顾 第 四 章 定 理 9 之 推论 2, 便 知 一 个 入 XN 遍历 随机 和 矩阵 了 必 存 在 P 的 某 次 短 Pm 使 
它 具 有 一 列 无 一 零 元 素 。 下 面 的 引 理 提供 了 一 种 这 样 一 些 值 {m6}) 的 上 界 , 可 作为 未 曾 证 明 
的 W. 定理 10 的 一 种 补偿 。 

. 引 理 7 设 P 是 一 有 限 齐 次 马 氏 链 X 的 NXN 转移 概率 矩阵。P 的 某 次 客 具 有 一 列 无 
一 零 元 素 的 充 要 条 件 是 P*- 具有 一 列 无 一 零 元 素 。 

证 假定 忆 的 某 次 时 P" 的 第 j 列 的 所 有 元 素 都 是 正 的 。 由 WN. 定理 1 及 工 . 乍 理 14 知 
相应 的 状态 了 是 常 返 的 。 而 且 P%+: 的 第 7 列 的 所 有 元 素 也 必 是 正 的 ， 所 以 状态 ;是 非 周 期 
的 , 令 C07) 记 由 状态 7 生成 的 状态 闭 集 , 那么 C(7) 相 当 于 一 个 具有 Y 个 或 更 少 状态 的 不 可 
分 非 周期 马 氏 链 的 状态 空间 。 由 引 理 6 知 存在 正 整数 /NW 一 1 使 得 路 >0. 为 了 记 法 上 的 方 
便 不 妨 假定 ;=1。 又 以 了 = [8] 记 随 机 和 矩阵 P' 二 [z8]， 那 么 2 盖 0。 用 己 作 为 新 的 转移 
概率 矩阵 , 则 对 所 有 的 iES 都 有 ze272>0, 即 因 P" 的 第 ; 列 的 所 有 元 素 珍 ">>0iES 以 
及 工 . 定理 15 之 推论 知 所 有 的 常 返 状态 是 与 状态 j 一 1 互通 的 ,而且 P 是 非 周期 的 。 在 使 用 
转移 矩阵 EE= 产 下 ， 从 任何 状态 出 发 必 能 达到 状态 1。 再 由 引 理 3， 对 每 个 i 58, i; 隆 1， 必 
存在 正 整数 < 一 1 使 得 pr%>>0， 此 刻 便 有 

Da 之 Pp > 0, i 关 1， (44) 
又 因 吉 >0， 显然 P41 之 0。 综 上 所 述 知 六 -' 二 Px 的 第 一 列 中 每 个 元 素 都 是 正 的 。 于 
是 应 用 引 理 5 及 ?2 是 随机 矩阵 ， 可 知 
PO-D? 一 PC-!-DC-DPKX-D (45) 
的 第 一 列 所 有 元 素 都 是 正 的 。 必 要 性 得 证 。 充 分 性 是 显明 的 。 引 理 证 完 。 

注 1 上 面 的 论证 能 被 用 来 证 明 : 如 果 P 是 一 个 NXN 随机 和 矩阵, 那么 P 的 某 次 器 元 一 
零 元 素 的 充 要 条 件 是 Pyw -无 一 零 元 素 , 比 此 结果 更 好 的 结果 是 :P 的 某 次 宪 无 一 零 元 素 的 
充 要 条 件 是 P” -2w+? 无 一 零 元 素 。 

注 ? NXWN 随机 和 矩阵 P 具 有 一 列 无 一 零 元素 的 充 要 条 件 是 PE -swf 具有 一 列 无 一 零 
元 素 。 这 也 是 这 类 结论 中 最 好 的 结果 。 所 谓 “ 最 好 ”是 指 没有 上 比 入 一 3N 十 3 更 小 的 笑 次 可 
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使 上 述 的 结论 仍然 成 立 。 监 于 此 结果 ， 便 可 给 出 列 和 法 的 改进 形式 ， 即 用 N? 一 3N 十 3 替代 
上 界 CN 一 1)?。 

令 工 是 2 的 这 样 的 知 次 , 即 对 或 ZL) 用 列 和 法 已 确定 了 相应 的 马 氏 链 是 遍历 的 。 回 
忆 列 和 法 所 取 的 Z 的 高 次 短 是 直到 Z(Z) 的 某 些 列 和 为 Y 或 X 一 1， 并 且 a(Z(L))>>0, 或 者 
直到 L 宕 (N 一 1)*。 由 引 理 7 看 出 : 如 果 2 对 应 于 一 个 遍历 的 马 氏 链 ， 那 么 列 和 方法 保证 了 
在 使 <(2(Z)) 盖 0 的 2Z(2) 中 有 一 列 其 列 和 至 少 为 X 一 1。 如 果 2(Z) 的 一 列 和 为 w， 则 对 应 于 
此 列 的 状态 一 定 是 常 返 的 。 下 一 个 引 理 将 证 明 ， 如 果 Z(ZL) 中 没有 一 列 的 列 和 为 NW， 但 是 
alZ(L))>>0, 并 且 有 一 列 和 为 N 一 1， 则 对 应 于 此 列 的 状态 必 是 常 返 的 。 

引 理 8 设 P 是 有 限 齐 次 马 氏 链 X 的 NXN 转移 概率 矩阵 ， 如 果 Z(Z) 的 第 ; 列 之 列 和 
为 N 一 1。 而且 没 有 一 列 之 列 和 为 入 ， 又 a(Z(Z))>>0， 则 状态 i 是 常 返 的 。 

证 假定 2(Z) 的 第 i 列 中 第 j 行 元 素 为 零 ， 其它 行 的 元 素 皆 为 1， 那 么 除 状态 ;之 外 ， 
从 其 它 状态 出 发 肯定 可 以 达到 状态 i, 所 以 状态 i 若是 非常 返 的 , 那么 状态 ;只 能 是 吸收 的 ， 
因为 如 果 ;不 是 吸收 的 , 则 有 j->i (对 让 一 i, 这 样 从 任何 状态 出 发 都 可 达到 状态 i, 于 是 由 
N. 定理 1 及 工 . 定理 14 知 i 必 为 常 返 的 。 然 而 如 果 j 是 吸收 状态 也 将 导致 牙 盾 。 因 为 这 时 
2Z(Z) 的 第 7 了 行 中 除了 第 7 列 的 元 素 (二 1 之 外 ， 其它 所 有 元 素 千 为 零 。 如 果 第 ; 列 中 第 
行 的 元 素 %(L)= 二 0， 那 么 

mmce(D， zr(L)) 一 0， (46) 


从 而 a(2CL)) 一 0, 这 与 引 理 的 假设 矛盾 。 另 一 方面 ,倘若 第 ; 列 中 每 一 行 的 元 素 皆 为 1， 那 
么 第 ; 列 的 列 和 为 Y,， 这 还 是 和 引 理 的 假设 矛盾 。 因 此 ; 不 可 能 是 吸收 的 , 故 ;不 可 能 是 非 
常 返 的 ,i 必定 是 常 返 状态 。 引 理 证 完 。 

由 于 引 理 8 当 记 历 人 性 已 被 确定 时 列 和 方法 总 能 产生 出 一 个 常 返 状态 。 所 以 前 面 已 提出 


的 求解 方程 组 zp 一 1， > za 一 1 的 第 二 种 方法 是 能 被 采用 的 。 即 将 对 应 于 常 返 状态 i 的 置 
为 1， 消除 xP=x 的 V 个 方程 中 的 任何 一 个 。 结果 所 得 的 含 Y 一 1 个 未 知 数 一 1 个 方程 的 


方程 组 有 了 锥 一 解 。 记 作 和 = 一 Ear ys Mi Ml, Nn ]。 令 ** = [nr "NN “] 为 
+ = 1 一 1 1，…NV， 
1 ， 一 7 当 5 ' 二 : (47) 
1， 当 了 一 2 


再 将 向 量 "的 长 度 减 缩 到 一 个 单位 就 得 到 所 要 求 的 4 二 [mi，…， mr], 矶 = 本 /全 天， 
j=1，…，N。 当 然 求解 含 V 一 1 个 未 知 数 一 工 个 方程 的 方程 组 比 求解 含 个 末 知 数 六 个 
方程 的 方程 组 容易 。 如 果 用 来 确定 遍历 性 所 采取 的 菜 种 方法 不 是 列 和 法 ， 那 么 要 决定 出 一 
个 省 返 状态 也 许 不 是 那么 容易 的 ， 在 这 种 情况 下 可 采用 第 一 种 方法 求解 方程 组 xP 一 <， 


> 


im 


对 亿 历 的 随机 矩阵 要 考虑 的 最 后 一 个 辣 题 是 从 非常 到 状 态 出 发 的 平均 吸收 时 间 。 
确定 了 非常 返 状 态 集 ， 那 么 采用 的 办 法 是 与 对 非 遍历 抵 阵 所 做 的 方法 一 样 。 第 一 眼 基 可 
出 这 是 一 个 容易 的 问题 , 即 非常 返 状 态 是 在 平稳 分 布 中 使 <= 0 的 那样 一 些 状态 LE 3) 。 除 
了 在 计算 机 中 有 可 能 出 现 的 舍 入 误差 的 问题 之 外 ， 前 面 的 这 一 断言 是 准确 可 靠 的 。 即 由 计 
算 机 给 出 的 ;的 值 可 以 是 实质 上 应 为 零 但 又 不 是 精确 地 为 零 。 所 以 说 状态 i 是 非常 返 的 充 
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要 条 件 为 不 二 0 可 能 带 有 某 些 误 差 。 对 此 可 采取 各 种 保证 措施 附加 到 这 个 方法 上 , 可 是 每 种 
保证 措施 都 会 增加 分 析 的 时 间 。 

寻求 非常 返 状态 还 有 第 二 种 十 分 简明 的 方法 。 令 人 遗憾 地 是 这 种 方法 通常 比 简 单 地 观 
察 平稳 分 布 的 方法 慢 。 如 果 对 于 24>NCN 一 1) 已 计算 242*)， 可 以 证 明 一 个 状态 是 常 返 的 
充 要 条 件 是 Z(2*) 中 对 应 于 此 状态 的 列 和 为 N( 其 实 只 要 对 2> 忆 一 2X 十 2 就 足够 了 )。 不 
幸 地 是 列 和 法 通常 早 在 2* 宇 NCN 一 1) 之 前 就 已 确定 此 和 矩阵 是 遍历 的 , 并 且 仅 提供 出 一 个 常 
返 状 态 而 不 是 所 有 的 常 返 状态 。 所 以 如 果 要 使 用 寻求 所 有 常 返 状态 的 方法 ， 将 不 采用 列 和 
法 。 在 这 情况 下 2 的 等 次 将 直接 取 到 2* 汪 NCN 一 1), 然后 计算 a(2Z(2*)), 最 后 给 出 分 析 。 

图 2 的 流程 图 阐述 了 分 析 有 限 马 氏 链 的 算法 步骤 。 


是 遍历 ? 即 是 否 否 
a(Z(L))>0? 
用 2( 刀 寻求 一 用 2Z(L) 慎 求 -个 常 返 状 态 [中 
个 常 返 状 态 
确定 由 此 状态 生成 的 常 返 
确定 平稳 分 布 状态 的 闭 集 及 它们 的 周期 
寻求 所 有 非 @ 将 2Z(L) 中 相应 于 所 有 可 
常 返 状态 集 转移 到 此 闭 集 里 而 且 在 
此 闭 集 内 的 元 素 置 为 竺 
确定 从 非常 返 状 态 出 


发 的 平均 吸收 时 间 
ZL)=0? 
输出 端 
是 


寻求 所 有 非常 返 状 态 
人 @ 回想 ZV 一 1)* 以 致 
容易 求 出 一 个 常 返 状态 。 


#4 矩阵 重 写成 分 块 矩 阵 的 形式 
并 确定 从 非常 返 状 态 出 发 的 平 
均 吸收 时 间 及 吸收 概率 


图 2 分 析 有 限 马 氏 链 的 流程 图 


8$ 3 大 马尔 科 夫 链 与 可 列 马 尔 科 夫 链 的 分 析 


1. 不 可 分 大 马尔 科 夫 链 的 平稳 分 布 


为 了 寻求 状态 个 数 有 限 但 又 很 多 的 大 马尔 科 夫 链 的 平稳 分 布 , 在 第 四 章 的 8 3 中 ,对 单 
一 输入 超 状 态 可 分 解 的 马尔 科 夫 链 的 平稳 分 布 已 给 出 了 具体 的 算法 及 其 理论 依据 N. 定理 
19。 进 而 要 计算 一 般 的 不 可 分 大 马尔 科 夫 链 的 平稳 分 布 , 根据 N. 定理 20 也 能 给 出 一 种 可 
行 的 算法 ， 现 在 介绍 如 下 。 本 段 中 采用 与 N. 8 3 中 完全 相同 的 记号 。 
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回忆 NW. 式 (104)、(105) 、(106)，RN . 定理 20 已 指出 : 如 果 已 知 矩 阵 4、8 和 C, 就 能 
利用 RN. 83 所 给 出 的 算法 求 出 <, 从 而 确定 出 平稳 分 布 r。 这 里 4 和 8 仅仅 依赖 于 转移 概率 
和 矩阵 P 并 能 容易 地 算得 , 但 是 矩阵 C 有 芍 于 *, 这 种 情况 启示 我 们 提出 一 种 迭代 算法 , 即 先 
推测 估计 出 一 个 x, 由 它 计 算 0, 然后 由 此 解 出 一 个 # 的 新 的 修正 值 。 所 提供 的 这 种 算法 的 
每 次 选 代 都 确定 出 描述 被 扩大 了 的 马尔 科 夫 系统 的 巨 的 平稳 分 布 *， 即 每 次 欠 代 确定 出 来 
的 了 都 满足 ， 


~ [F458 Nte_ 
p=|[4 |， nTP=7, 之 元 一 |， (48) 
令 w= af, ar 一 Di, (49) 
于 是 由 式 (48)、(49) 知 w 必 满足 方程 ， 一 
oo 一 w， yw= 1 (50) 


消去 wP=o 中 的 一 个 多 余 的 方程 并 附加 上 方程 之 ,wm 一 1， 便 可 看 出 每 次 帮 代 所 确定 的 w 由 
下 式 给 出 : 

o= 00,0 .| ,， (51) 
在 表达 式 (51) 中 , 瑟 与 二 是 由 下 面 的 式 (55)，(56) 分 别 依次 给 定 的 矩阵 ,， 即 除去 互 的 最 后 
一 列 的 元 素 皆 为 ! 之 外 ， 其它 的 元 素 与 B 对 应 相同 , 又 除去 1 的 最 后 一 列 的 元 素 皆 为 零 之 
外 ， 其 它 的 元 素 与 单位 矩阵 对 应 相同 。 


应 用 分 块 矩 阵 的 逆 和 矩阵 公式 : 
v vy Ut 十 UVAWU-! ~— UVA-! 
| ,| 本 | 一 A-iWU™! 41 |， (52) 


其 中 4= 了 一 FU- 四。 由 式 (51) 可 知 : (C0(1 一 4)-1H 一 1*)-1C(1 一 4)-! 的 最 后 一 行 便 是 % 中 的 
头 W 个 元 素 [@,…, wyj。 由 的 结构 形式 知 不 存在 来 自 单一 输入 状态 的 相互 超 状 态 转 移 。 
因此 仅 用 % 的 头 Y 个 分 量 值 就 能 修正 GC 的 值 ( 注 意 到 在 计算 G5 时 ， 因 为 常数 a 约 去 了 ,所 
以 可 用 o 而 不 是 用 中。 所 以 在 每 次 迭代 时 ， 只 要 计算 w 的 头 Y 个 元 素 ,， 并 且 规 定 初始 的 近 
似 估 值 了 只 是 wo 的 这 头 六 个 元 素 。 有 了 上 面 的 论述 ， 便 可 给 出 下 面 的 算法 : 

@ 选择 初始 的 7 作为 P 的 平稳 分 布 的 近似 推测 估计 。 

四 ”确定 超 状 态 的 个 数 mm<Y)。 为 了 获取 高 效 ，m 应 取 为 约 近 于 VN 。 将 状态 空间 
中 的 N 个 状态 划分 成 mw 个 超 状态 , 并 且 对 每 个 超 状态 添加 入 一 个 人 为 的 输入 状态 。 又 将 这 
些 超 状 态 标记 为 Si S2, pm。 

多 ”定义 NXN 矩阵 4=[ay] 与 NXm 和 矩阵 B=[6j 如 下 : 对 i, JE {1,，…,，N}， 

_ fzs， ”如 果 i 与 ;属于 同一 个 超 状 态 ， 


“| 0， 其 它 ， 人 
对 4E (1V)， jE (1, ,mm), 
0 » 如 果 ; € Sj, 
by -| > pr， 如 果 i 二 8;。 (54) 
7E3i 
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@ 应 用 8 构造 NX 矩阵 H= [hj 如 下 : 对 i€ {1 ,N), jE {l,m}, 


bij» 如 果 j 过 苔 ， 
一。 如果 7 二 和 
又 构造 mXm 矩阵 站 = 二 [如 下 :对 ij€E {ll,…,m}， 
加 1， 如 果 it= jj 之 mm， 
一 ( 其 它 (包括 /2 = 0)。 50) 
计算 矩阵 D= (1 一 4)-! 及 B=DH。 
图 ”构造 mxWN 矩阵 0=[cs] 如 下 ; 对 于 i€E {lm} jE (1, N}， 
| > mpe, 如 果 j € 85， 
Oi = 4 ‘5, ES 1&3 (C57) 
0， 如 果 j 了 多 5;。 


计算 4 一 CBE 一 全 

@ 求 出 4 的 最 后 一 行 ， 记 为 PR。 等 价 地 即 解 4=[0,0,…,0,1]€ AR。 

赋予 # 以 新 的 值 FcD， 以 此 来 校正 原先 的 祝 。 如 果 新 的 六 已 足以 接近 前 一 个 全, 则 
停止 计算 ， 这 时 的 车 即 作 为 P 的 平稳 分 布 ， 否 则 转 回 第 @ 步 。 

注意 到 一 般 计算 p= (一 4 一 是 较 困难 的 。 然 而 因为 巨 是 单一 输入 超 状态 可 分 解 马 氏 
链 的 转移 矩阵 ，4 是 分 块 对 角 和 矩阵 ， 这 就 大 大 简化 了 计算 。 

从 许多 马尔 科 夫 系统 的 具体 结果 1 中， 已 旦 现 出 上 述 算法 具有 快速 的 收敛 性 。 但 是 至 
今 还 未 能 从 理论 上 表征 该 算法 的 收敛 性 质 ， 有 待 深入 地 探讨 。 当 然 继 续 去 创造 计算 大 马 氏 
链 的 平稳 分 布 的 新 算法 无 疑 仍 是 一 个 重要 的 论题 中， 进而 便 是 编制 适用 于 计算 机 的 程序 ， 
对 此 本 书 不 再 展开 讨论 。 

2. 可 列 马 尔 科 夫 链 的 转移 概率 矩阵 的 分 析 


在 前 两 节 中 ， 必 了 借助 于 计算 机 来 分 析 有 限 齐 次 马 氏 链 ， 建 立 了 一 系列 的 引 理 和 
定理 作为 提供 有 效 算法 的 理论 根据 。 当 状态 空间 从 有 限 放 宽 到 可 列 无 限 的 一 般 人 情形 时 ， 以 
前 建立 的 重要 结论 是 否 仍 保持 成 立 ? 这 就 是 本 段 的 中 心 论 题 。 
首先 通过 一 些 例子 说 明 对 有 限 随 机 和 矩阵 是 真 的 论断 对 于 可 列 无 限 随 机 矩阵 却 可 以 是 不 
真 的 。 
例 6 如 果 妃 是 一 有 限 随 机 和 矩阵, P 有 一 列 其 所 有 的 元 素 都 是 非 堆 正 值 , 则 由 遍历 系数 
alP) 的 定义 V. 式 (5) 知 aeCP )>0。 但 是 对 可 列 无 限 随 机 矩阵 
1/2 1/2 0 0 0  …] 
1/3 0 2/3 0 0 
1/4 0 0 3/4 0 
P= |1/5 0 0 0 4/5 …|， (58) 


P 的 第 一 列 中 每 个 元 素 都 大 于 零 ， 而 且 
alP) = inf Pymin (pavpa) = inf (1/2,1/3,1/4,} 一 0。 
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例 7 设 P 是 一 有 限 齐 次 马 氏 链 的 转移 概率 矩阵 , 由 N. 定理 7 知己 必 有 平稳 分 布 。 又 
设 一 可 列 齐 次 马 氏 链 的 转移 概率 矩阵 P 为 
0 1/2 1/2 0 0 0 
0 0 1/2 1/2 0 0 


0 0 0 1/2 1/2 0 » 
P= / / 9 (59) 


明显 地 此 链 的 所 有 状态 都 是 非常 返 的 ,而 且 对 任何 状态 ;i， 7 都 有 lim78 一 0。 由 于. 定理 11 
之 推论 知 此 P 不 存在 平稳 分 布 。 
例 8 设 P' 是 一 有 限 随 机 矩阵 , 己 具 有 一 列 其 每 个 元 素 都 是 非 零 正 值 , 由 N. 定理 9 之 
推论 2 知 P 是 遍历 的 ， 于 是 
lim sup sup| 8 一 79°|= 0。 (60) 
然而 对 于 可 列 无 限 的 随机 甜 阵 此 结论 未 必 成 立 。 设 P 是 如 下 式 所 给 的 可 列 无 限 随机 算 阵 : 
1/2 1/2 0 0 0 0 
1/4 0 3/4 0 0 0 
1/8 0 0 7/8 0 0 
0 


P= |1/16 0 0 0 15/16 (61) 


容易 验算 对 任何 正 整 数 都 有 
zf = 0, p+2 一 卫 x 于 X x lla 一 2…) 


又 根据 无 穷 乘 积 理 论 以 及 之) 2-<oo 可 得 了 (1 一 2-")=a>0。 于 是 
lim sup suplp® — pH| > lim|7s — ph |= a>0 
式 (60) 不 成 立 。 

其 次 将 给 出 的 一 些 例子 ， 表 明 某 些 对 有 限 随机 矩阵 成 立 的 论断 对 于 可 列 无 限 随机 矩阵 
的 类 似 论断 显然 成 立 ， 而 且 证 明 是 平凡 的 。 

例 9 设 P 是 一 有 限 齐 次 马 氏 链 的 转移 概率 矩阵 , 若 有 正 整数 中 使 P" 的 第 ; 列 设 有 
一 个 零 元 素 , 由 C-K 方程 易 知 Pw+; 的 第 ; 列 也 没有 一 个 零 元 素 。 由 此 可 知 状态 ; 是 非 周期 
的 。 完 全 类 似 地 ， 如 果 己 是 一 可 列 齐 次 马 氏 链 的 转移 概率 矩阵 ， 对 此 结论 仍然 成 立 。 

例 10 假定 P= [为 ] 是 一 有 限 齐 次 马 氏 链 的 转移 概率 矩阵 , 若 状 态 i 与 7 有 公共 的 m 
阶 后 继 状态 ,那么 i 与 了 必 有 公共 的 m 十 1 阶 后 继 状态 。 事 实 上 因为 至 少 存在 有 一 个 状态 
使 得 吉之 0, 于 是 有 V+? 之 Vm 记 >>0， F919 之 VJ"。>>0, 此 即 为 所 求证 的 状态 。 显然 完 
全 类 似 地 对 于 可 列 齐 次 马 氏 链 的 转移 概率 矩阵 P 此 结论 仍然 保持 成 立 。 

最 后 再 举例 前 明 : 对 有 限 随机 矩阵 成 立 的 某 些 论断 推广 到 可 列 无 限 随机 矩阵 的 情形 时 ， 
尽管 仍然 成 立 但 是 并 不 明显 ， 而 且 证 明 也 是 非 平凡 的 。 
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例 11 设 P 是 一 有 限 齐 次 遍历 马 氏 链 的 转移 概率 矩阵 , 则 由 WW. 定理 9 之 推论 2 知 :P 
的 某 有 限 次 等 具有 一 列 无 一 零 元 素 。 而 且 由 引 理 7 知 所 要 求 的 这 一 千 次 是 由 的 大 小 所 决 
定 。 下 面 的 定理 证 实 了 类 和 似 于 上 述 的 结果 ， 对 于 可 列 随机 和 矩阵 P 仍 成 立 。 而 且 这 一 着 次 可 
由 使 aCP) 之 ze>0 的 :与 所 决定 。 

定理 5 设 P 是 一 可 列 无 限 随机 矩阵, 而且 有 正 整 数 1 使 得 akP) >>0, 那么 必 存 在 P 的 
某 次 答 ， 它 具有 一 列 无 一 零 元 素 。 


证 记 。=a(P)>0。 选取" 使 得 2 ?入 <t/2, 那么 在 产 的 每 一 行 的 头 # 列 中 必 害 至 少 
有 一 个 正 值 元 素 .因为 如 果 不 是 这 样 , 即 P 的 头 列 中 的 所 有 元 素 皆 为 零 , 于 是 由 a(P) 的 
定义 


alP') = inf > ymin{ pf ,p08) ， (62) 
bd wl 


以 及 也 ?< 2 便 知 *(P)<s/2， 这 与 假定 *= <(PD>0 矛盾。 

现 用 忆 记 严 中 的 左上 角 ”xz 非 负 和 矩阵。 因为 已 知 *(P) 之 0 仍 由 定义 式 (62) 推 知 , 每 
对 状态 必 有 :! 阶 公共 后 继 状态 ,特别 地 在 状态 子 集 (1,… ,中 中 的 所 有 状态 对 都 有 ! 阶 公共 后 
继 状态 。 下面 将 要 证 明 这 些 状态 对 , 事实 上 具有 在 状态 集 {1，……'aj 中 的 某 阶 公共 后 继 状态 。 
能 够 证 明 在 {1,…,)} 中 的 每 对 状态 都 有 在 {1,… ,中 中 的 阶 为 2 的 公共 后 继 状态 。 以 必 记 
如 中 的 左上 角 axXn 抢 阵 ， 可 证 以 的 某 次 赛 具 有 一 列 无 一 零 元 素 "1。 特 别 地 由 引 理 ? 知 
号 有 一 列 警 如 是 第 如 列 无 一 零 元 素 ,那么 从 以 "的 定义 得 知 Pxe ”的 第 尹 列 头 " 行 上 
的 元 素 都 是 非 零 正 值 的 (1<<j<n)。 最 后 , 因为 的 头 ， 列 中 每 一 行 都 有 一 个 正 值 元 素 , 所 
以 PPze -5 一 Pt 的 第 j 列 中 每 个 元 素 都 是 非 零 正 值 ， 定 理 证 完 。 

注 在 上 面 定理 的 证 明 中 ,因为 U"-*” 的 第 思 列 无 一 零 元 素 , 所 以 6 min Pe 之 0， 


艺 8 是 严格 正 的， 由 此 方法 也 可 选择 成 使 得 对 PP 的 所 有 行 之 179 之 /2。 所 以 Pr+zxe-D 的 


第 罗列 的 每 个 元 素 至 少 要 与 &: 8/2( 之 0) 一 样 大 , 换言之 , P+*- ”的 第 用 列 的 元 素 不 仅 都 
是 正 的 , 而 且 它们 是 有 严格 非 零 正 下 界 。 其实 能 够 直接 证 明 如 下 事实 : 设 P 是 一 可 列 ( 或 有 
限 ) 齐 次 马 氏 链 的 转移 概率 矩阵 。 定 义 向 量 9?= (9 ，o ，…) (或 4 二 《91，…，gy)) 的 范 数 为 


jall = le,( 或 和 el= lcl (63) 
. én] ie 1 
又 以 go 、r@ 表 示 初 始 概 率 分 布 ， 如 果 有 
lim sup ， lamp" 一 > 一 0， (64) 


则 PP 的 某 有 限 次 短 具 有 一 列 它 的 所 有 元 素 有 严格 非 零 正 下 界 。 

例 12 如 果 忆 是 一 有 限 随 机 矩阵 ， 忆 满足 式 (64)， 则 已 有 唯一 的 平稳 分 布 。 下 面 的 定 
理 指出 : 当 己 是 一 可 列 无 限 随 机 和 矩阵 并 满足 式 (64) 时 , 同样 的 结果 仍 成 立 。 但 要 强调 的 是 ， 
此 结果 不 是 对 任何 可 列 随机 甜 阵 都 能 成 立 的 ， 这 里 式 C64) 是 决定 性 的 条 件 。 

定理 6 如 果 忆 是 满足 式 (64) 的 可 列 无 限 随 机 和 矩阵， 则 有 唯一 的 平稳 分 布 。 

证 因为 P 满足 式 (64),P 恰 有 一 个 闭 的 常 返 状态 子 集 ,所 以 平稳 分 布 的 存在 性 问题 化 
为 这 常 返 子 集 是 否 为 零 常 返 的 问题 。 
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由 定理 5 之 注 , 每 当 M 之 ! 十 24(x 一 1)? 并 且 a(P) 二 时, 在 书 的 第 加 列 中 的 所 有 元 素 
将 下 方 有 界 s。e/2。 因 此 状态 j 是 正常 返 的， 所 以 相应 于 P 的 一 个 常 返 状 态 子 集 必须 是 正 
常 返 的 ， 从 而 必 存 在 平稳 分 布 ， 还 可 证 明 这 是 唯一 的 。 

总 之 ， 上 面 的 例子 阅 明 ， 对 有 限 随 机 和 矩阵 成 立 的 结果 试图 推广 到 一 般 可 列 无 限 随 机 算 
阵 时 ， 可 能 出 现 的 各 种 不 同 的 情形 ， 以 此 来 提醒 读者 不 要 随便 轻信 必须 慎重 对 待 。 
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相对 于 前 面 各 章 关于 离散 参数 马 氏 链 的 讨论 ,本章 将 对 连续 参数 马 氏 链 的 基本 概念 ， 
独自 具有 的 特性 ， 以 及 若干 重要 的 具体 特例 作 一 简要 的 介绍 。 


$ 1 基本 的 概念 与 性 质 


设 X= {X,, tET) 是 定义 在 概率 空间 (98, 多 ,P) 上 的 一 族 随机 变量 ， 这 里 了 是 连续 时 
间 参 数 上 所 有 可 能 取 值 的 全 体 即 参数 集 ， 辟 如 了 可取 为 (一 ce ,十 ce) 或 [0， 十 ce)， 在 本 章 
中 若 无 特 别 声明 了 都 取 作 [0, 十 co)。 和 所 有 可 能 取 值 之 集合 S 为 并 的 状态 空间 ， 本 章 中 4 
是 一 可 数 集合 ,总 取 8 为 {10，1，2，…)} 或 和，…，WNW)。 若 对 任意 的 正 整 数 # 宇 1， 住 意 
的 非 负 实数 0<<& 过 4 过 … 过 4 过 ht+1， 以 及 任意 的 计 ， 谨 ，…… riES, 使 P (X, = X, 
二 is，*…，X, 二 %) 之 0， 并 总 有 
P(X = it |Xs = Xe = Ke = i) 
= P(X,,, = i |X, = 6) (1) 
则 称 此 {X,，i 兰 0) 为 连续 参数 的 马 氏 链 ， 式 (1) 所 表示 的 即 为 马 氏 性 。 类 似 于 离散 参数 
的 人 情形， 这 里 马 氏 性 也 有 多 种 等 价 形式 。 
定理 1 ”下列 诸 条 件 等 价 ， 
(GD 马 氏 性 式 〈《1) 成 立 ， 
(ii) ”对 任意 的 正 整 数 s 宇 1， 任意 的 非 负 实 数 0=4 之 之 … 之 -1<h， 以 及 任意 的 名 ， 
bs “0 ly ES, 有 
P(X, = ioy Ks = i Ke, = hi Ke = i) 
= PCX = i)POX, 一 站 |X =i) PX = [Xe = 1) (2) 
当然 这 里 要 求 PCX 一 ip，X 二 HH ，X， 王 h-1) 之 0 以 保证 式 (2) 右 方 有 意义 。 
(ii) ”对 任意 的 ! 宇 0, iE5， 任意 的 AE 多 (Xd 宇 0) ,DES (X.，0<u) ,使 
P(B,X 一 i) >0， 并 有 
P(A|IB, X=i) = P(ANIX.=, (3) 
(iv) ”对 任意 的 ! 宇 0，i€5， 任意 的 4€E 久 F(X,, 4220)，BE (KX,.,0Sul), 使 
P(X,=i) 汪 0, 并 有 
P(AB|IX,=°0i) = P(AIX. = OP(BIX, 一 中。 C4) 
(v) ”对 任意 的 正 整 数 #>1, 任意 的 非 负 实 数 0 和 <b<…<4#-<4, 以 及 任意 的 
iES， 有 
POK, 一 让 XXX ) 一 PCX = ilX, ), a.s. 《5) 
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(vi) ”对 任意 的 之 0, 任 给 满足 下 列 条 件 的 随机 变量 Y: B17Y | 之 oo，, 并 对 任何 实数 a 都 


有 {7Y 志 a) EY 多 (和 ,ww 之 ， 则 有 
El(Y|F(X., 0RuR)) = EYIX), a,s. (6) 
定理 1 的 证 明 省 略 ， 定 理 1 的 详细 论述 与 推导 可 参看 文献 [21。 
研究 连续 参数 马 氏 链 的 主要 问题 仍然 是 描述 和 探讨 它 的 状态 转移 的 统计 规律 与 性 质 。 
为 此 ， 对 任何 0 委 s<4，;，jES， 如 果 P(X 二 之 0, 记 
Pi(s,t) 会 POX, = jlX, = i), (7) 
称 py(s, 引 为 X 在 s 时 处 于 状态 i 的 条 件 下 ,t 时 转移 到 状态 j 的 转移 概率 ,以 pyls, 人 站 为 元 素 ， 
对 状态 i， jE 3 依 序 排 成 的 矩阵 PCs, ) 二 [zu(s, 为 ] 称 为 XX 的 (s, t) 转移 矩阵 ， 当 *，# 取 
记 [0，、ce) .中 之 值 , 而 且 st 时 , 便 得 XX 的 转移 矩阵 族 (P《s，t)，0SsS&t} 。 由 定义 式 
《7)， 概 率 的 性 质 ， 以 及 X 具有 马 氏 性 式 (1)， 即 得 下 面 的 定理 : 
定理 2 连续 参数 马 氏 链 X 的 转移 矩阵 族 {P(s,t)，0 志 s&t} 具有 如 下 的 性 质 ， 


(i 0 DR1I, iij€ES, 0ZsEt (8) 
Gi) ps =1, iES, 0<s&i (9) 
JE3 

(iii》 对 任何 0 委 s 和 改 v， 任 何 !，j 和 ES， 有 

Py(s, 4) 一 Dpals, pt, u) (10) 
hEB 
或 Pls, ua) = Pls, P(t, ti) C11) 
l,i 二 7 . 

《iv) Pil(s, §) 一 0 一 [2 JES，s 之 1 (12) 


通常 称 式 (10) 或 (11) 为 切 普 螺 - 柯 尔 莫 哥 洛 夫 方 程 (C-K 方程 )。 

当 连 续 参 数 马 氏 链 X 的 转移 概率 pj (s, Di 和 ES，0 委 s 委 ! 只 与 一 有 关 , 而 与 * 具 
体 取 何 值 无 关 时 ， 即 pyCs,) = 一 s)，i，jE5，0<sSt， 则 称 此 X 或 它 的 转移 矩阵 族 是 
齐 次 的 , 确切 地 说 是 时 间 齐 次 的 。 如 果 ps， 引 ， i jE€E5，0Ss<t 只 依赖 于 j 一 i;， 则 称 此 
XX 或 它 的 转移 矩阵 族 是 空间 齐 次 的 。 本 章 仅 对 连续 参数 的 齐 次 马 氏 链 展开 讨论 ,着重 论述 
刻画 X 状态 转移 规律 的 转移 概率 的 分 析 性 质 。 这 时 X 的 转移 概率 可 写 成 pC2), i, jE 5， 
i 之 0， 它 作为 定义 在 [0， 寸 ce) 上 的 非 负 实 值 函数 族 ， 首 先 来 考察 它 的 极限 、 连 续 等 分 析 
性 质 。 

定理 3 设 p(0), i, jiES，!220 是 连续 参数 齐 次 马 氏 链 X 的 转移 概率 ， 则 下 列 条 件 

等 价 ， 


1,i= ) 
j 四 = 1 一 卫 。 13 
Ci) lim Pitt) = 6 10, ij i, jES (13) 
(ii) lim pl) = 1,1€ 5, (14) 

t=0+ 

Gii) 对 任 给 的 e 汪 >0, 任意 的 iE8, 及 任意 的 二 0， 

lim PCX — X| 守 elXo =i) = 0。 (15) 

A0+ 
证 因为 式 (8)、(9)， 对 任何 志 0, 任何 i;，jE 58, i 关 j， 有 

OZp) E11 p(t), (16) 


由 此 即 得 人 与 Gi) 等 价 。 


{= 


Lr 
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现 证 人 一 (ii) 。 不 妨 取 0 过 :之 1， 则 对 任何 4>0， 由 概率 的 可 列 可 加 性 ，X 的 蕊 氏 性 、 
齐 次 性 、 有 
POKn— XX = = PX 天 Ko = 
= 21) PCXK A j=) 二 mA — pCh))。 
利用 盘 贝 格 控制 收敛 定理 及 式 (13) 即 得 式 (15)。 
再 证 (iii)- 一 (GD 。 仍 取 0 二 :过 1， 在 式 (15) 中 取 :=0， 有 
1 — ph) = PX iIXo = = PK XXo=i, i€S, 
于 是 由 式 (15) 即 得 式 〈14) ， 再 由 式 (16) 得 式 (13)， 证 完 。 
定理 3 中 , 式 (13)、(14)、(15) 的 直观 解释 是 X 在 很 短 的 时 间 间 隔 内 发 生 状 态 改变 
的 可 能 性 是 很 小 的 ， 这 与 常见 的 客观 事实 是 相符 的 。 称 条 件 〈13)》 为 标准 性 条 件 ， 在 大 多 
数 实际 问题 中 出 现 的 齐 次 马 氏 链 都 能 满足 标准 性 杀 件 。 
定理 4 对 连续 参数 齐 次 马 氏 链 X 的 转移 概率 ， 有 
>») put 十 hh) — p(t)| 在 < 2(1 一 pailh)), + € 5S， t 之 0, hh> 0， C17) 
jES 
从 而 如 果 六 还 满足 标准 性 条 件 ， 则 对 一 切 i，j€ 5，pi(0) 是 iE [0,o2) 上 的 一 致 连续 函数 。 
证 由 C-K 方 程 ,对 任何 ;i,jE5, t 宇 0, fh>0,， 有 
pit — pst) = >) pa 人 pb — pult) 
一 Dj pu hypylt) 一 《1 一 pCh) pst) 
[24 
由 此 可 得 ， 对 任何 1 JES， 过 0， 和 0， 
— pp) Eph om p00) Om) put), (18) 


对 任 一 实数 a 的 正 部 及 负 部 分 别 依 次 为 st 二 max (a，0) 及 a- 一 max (一 a，0) ， 显 然 
la|=at+ 十 a~。 于 是 由 式 (18) 可 得 : 对 任何 i€S, t 宇 0, h>0， 
Dp pt CD) 2 pa ptt) 


JES iES Exi 
= Dm = 1— ph), 19) 
[ed 
2 (pst + hb) — pst))- < od — pilh))pslt) = 1 — pu(h)。 (20) 


将 不 等 式 (19) 与 《20) 相 加 即 得 式 (7)。 由 标准 性 条 件 〈13) 及 式 (17) 即 得 ps0) 的 一 
致 右 连续 性 。 
在 式 (17) 中 ， 可 用 一 A( 关 0) 来 替换 上 ， 得 
各 42 — pt— ISA21— ph)), ES 0,4> 0,t—h> 0, (21) 


由 此 便 证 得 2 人 9 的 一 致 左 连续 性 。 综 上 所 述 知 瑟 人 是 4E[0,cc) 二 的 一 致 连续 国 数 。 定 理 
证 完 。 

值得 指出 的 是 定理 4 揭 亲 了 连续 参数 齐 次 马 氏 链 的 一 个 重要 事实 , 即 链 的 转移 概 
率 py(t) ,i,jE5S, 过 :0 作为 1 的 函数 在 零点 的 右 连续 性 就 足以 保证 了 它 在 (0, ce) 上 每 一 
点 处 的 连续 性 。 实 际 上 以 后 将 会 看 到 (参见 定理 5、 定 理 9) 转移 概率 外 (CO 作为 上 的 匿 数 在 
零点 附近 的 某 些 性 质 , 就 可 确定 它 在 [0, oo) 上 其 余 各 处 也 具有 向 样 的 性 质 , 之 所 以 如 此 ， 
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根本 的 原 困 是 具有 马 氏 性 、 齐 次 性 、 满 足 C-K 方程 。 

定理 5 设 连续 参数 齐 次 马 氏 链 X 的 转移 概率 p(t)，i，jE5，t 宇 0 满足 标准 性 条 件 
(13)， 则 

(0) ”对 任何 性 S3， 有 Zu 的 >>0， 过 0。 

(ii) ”对 任何 i:，jES，i 兴 ij， 车 有 之 0 使 得 p,(4o) 汪 0， 那 么 对 一 切 ! 写 4 都 有 pi(2) 
>0。 

证 由 C-K 方 程 ， 对 任意 的 uw>0,，v>0 有 


Psi 二 0) = DD) palu) pry) > piu)pilv).。 (22) 
二 和亲 
由 此 对 任意 的 上 六 0 及 任意 的 正 整数 ww， 有 
Pi(0) 之 [rl 二 (23) 


根据 标准 性 条 件 lim | 二 | = 1 。 故 只 要 充分 大 , 便 有 | 万] 之 0， 从 而 由 式 (23) 知 
zw( 芒 盖 0，(i) 得 证 。 

对 任 给 的 5，jES8，bk>0， 如 果 z(o)>0， 那 么 对 任何 必 b， 由 C-K 方 程 及 (iD 得 

pytt) SZ Pilto)p;(t — to) > 0 
定理 证 完 。 

实际 上 ， 在 与 定理 5 相同 的 假设 条 件 下 ， 对 任何 1，jES，z(0 在 4E (0，co) 上 或 恒 为 
正 ， 或 恒 为 零 ， 严 格 的 论证 可 参见 文献 [2]。 

前 面 讨论 了 齐 次 马 氏 链 的 转移 概率 py()，i，jES 在 i>0 十 时 的 极限 性 质 以 及 在 [0， 
co) 上 的 连续 性 质 。 下 面 将 讨论 py(0) ,i,j€E5 在 too 时 的 极限 性 质 ， 即 探讨 它 的 遍历 性 
质 。 方法 是 把 连续 参数 的 情形 转化 为 离散 参数 的 情形 ， 以 便利 用 离散 参数 马 氏 链 的 遍历 性 
定理 及 已 证 的 结论 去 获得 p01) 的 遍历 性 质 , 设 {25(2)， 过 0, i，jE€5} 是 一 齐 次 马 氏 链 X 
= {X,, t 字 0} 的 转移 概率 函数 族 , 对 任意 给 定 的 >0， 显然 算 阵 PC() 二 [pC 和 )j 必 是 离散 
参数 齐 次 马 氏 链 并 (人 一 {Xu，n 二 0, 1…} 的 一 步 转移 概率 和 矩阵， 并且 由 马 氏 性 与 齐 次 性 知 
X(h) 的 4 步 转移 概率 为 

PER) = pnh), i jE Sn= 1, 2 
称 X(4) 或 [ps《h)] 为 X 或 ( [p00)]， 过 0} 的 步 长 为 4 的 离散 骨架 。 

为 使 讨论 简便 起 见 , 假定 X 的 一 切 状态 都 是 互通 的 , 即 对 任何 两 个 状态 i, jE5, 总 存 
在 5 8” >0， 使 得 zi(O0>0 和 zi )>0 都 成 立 。 

引 理 1 设 连续 参数 齐 次 马 氏 链 X 的 一 切 状 态 都 是 互通 的 ， 它 的 转移 矩阵 族 满足 标准 
性 条 件 ， 对 任 给 的 >0，X(b) 是 XX 的 步 长 为 的 离散 骨架 ， 则 

(GD ”对 X(D) 而 言 每 个 状态 都 是 非 周 期 的 。 

(ii) ”XX() 是 不 可 分 的 。 

(ii) ”对 任 给 的 0， 任 给 的 i，;E 5， 下 列 极限 存在 ， 而 且 与 i 无 关 : 

lim ph) = lim piCnh) = Ch) 

证 由 定理 5 中 (i) 的 结论 知 ， 对 任何 iE8S， 有 pi(6)>>0，t0， 特 别 地 yp 名 (人) 二 ps 
(ah) 汪 0，n 二 1，2，…， 由 此 可 见 i 是 非 周 期 的 ，(i) 得 证 。 

对 任意 的 状态 i, jE S,， 由 互通 的 假定 必 存 在 某 s>0, 使 得 %(s)>>0。 总 可 选 到 足够 大 
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的 正 整 数 使 得 内 >s， 王 然 前 面 已 指出 p04) 恒 大 于 零 ， 故 
pH Ch) = pynh) pink — s)ps(s)>0 

即 X(4) 的 一 切 状 态 都 是 互通 的 ， 所 以 它 是 不 可 分 的 ，(ii) 得 证 。 

由 前 面 已 证 的 结论 G)、Gi)， 以 及 二 . 定理 1、 了 . 定理 2 和 .定理 3 之 推论 即 得 
Gii)。 引 理 证 完 。 

定理 6 设 连 续 参数 齐 次 马 氏 链 X 的 一切 状态 都 是 互通 的 ， 它 的 转移 矩阵 族 满足 标准 
性 条 件 ， 则 

G) ”存在 下 列 极限 ， 且 与 无关 


limpz(b 一 7ji9 ts 2 和 CS。 (24) 
(i) ”极限 {zw;，jE5) 具有 下 列 性 质 ， 
m0 jES: PD nSl (25) 
jES 
T= mpd), jE€ES,t>0; (26) 
iES 
如 有 某 个 状态 j 使 7 汪 >0， 那 么 
n>0, i€S; Dmn=1, (27) 
i€ES 


证 对 任意 给 定 的 i,，jE5 及 正 数 e>>0, 依 定理 4， 入 的 是 4 皮 [0，c) 上 的 一 致 连续 
函数 , 于 是 可 以 选取 到 足够 小 的 正 数 有 >0, 使 得 pC0) 在 任 一 长 度 为 的 区 间 内 的 任何 两 点 
上 差 的 绝对 值 都 小 于 也 。 对 此 ,由 引 理 1 有 limzu(nhi) = mh)。 于 是 必 存 在 正 整数 尺 ， 使 
得 当 n, # 之 N 时 ， 总 有 

IpsCnh) 一 me 人 | < 
那么 只 要 了 “>>NE， 相 应 选取 rw 之 NV， 满足 太志! 之 (rn 十 Dh wht 之 (wn 十 1)h,， 便 有 
[py — ps E10 一 p+ pink) — pln Bh)| 
十 lz 用 一 mt) << 可 十 可 十 可 一 外 
从 而 由 极限 存在 的 柯 西 (Cauchy) 准则 , 极限 limp(t) 存在 , 再 根据 引 理 1 直接 推出 此 极限 
值 与 无关。 其实， 对 一 切 0，wwj (有 ) 是 常数 1。 式 (24) 得 证 。 


Nn 
Ti 之 0， JES 是 显然 的 。 记 人 5S 为 {1, 2， ) 对 任 一 正 整 数 N 及 志 > 0， 有 和 mlDSl, 


N 
i€ 8， 对 此 式 两 边 令 tco， 由 (i) 得 之 mm 和 1， 再 令 Y 一 co， 就 得 式 (25) 


Dy 一 bE 委 1。 
JE3 j=1 
又 由 pt) = >) ma i jE 5,1, ti 0, 
ES 
对 此 式 两 边 令 u>co， 由 (及 法 都 定理 得 
Nj 之 2 mp lt), 了 € 58, ti 之 0， 


#ES 
将 上 式 对 7ES 求 和 ， 再 应 用 傅 比 尼 定 理 就 有 
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Dm Pm) = Dm Op = Dm 
5 jES ttH ES i3 ES 
由 此 可 见 必须 式 (26) 成 立 。 
当 吧 >0 时 ， 由 5 即 有 wD>>8,， 训 j7 是 XX( 有 ) 的 正常 返 状 态 ， 由 引 理 1，XC(4) 是 不 可 
分 的 , 每 个 状态 都 是非 冰期 的 , 从 而 XC) 的 每 个 状态 都 是 遍 历 的 , 赦 由 下 .定理 3 之 推论 知 
mw>0,，iES5S。 再 由 蓝 . 定理 10 知 式 〈27) 成 立 。 定 理 证 完 。 
注 在 比 定理 6 更 弱 的 假设 条 件 下 ， 文 献 [2J 详细 论证 了 如 下 较 一 般 的 结论 : 
如 果 连 续 参 数 齐 次 马 氏 链 X 的 转移 矩阵 族 满足 标准 性 条 件 ， 则 
(i) ”存在 下 列 极限 : 
im 和 人 一 fj is jE€s, (28) 
而 且 极 限 矩 阵 如 = [mj 共有 下 面 的 一 系列 性 质 : 
Nj 之 0 i,jE€E SNS; Sn < 1, i€ Ss 


JES 


六 而 =1， 如 果 i€ 6, mm 关 03 
*" (29) 
TH = Dj Vijy [多 2 € Ss; 

[I 


HT= UP() = POON, > 0, 


(ii) 
t 7 
iim 到 | py CO = Nijy ty € S, (30) 
To TT 0 


其 中 三 是 由 式 〈28) 确定 的 极限 。 
$2 标准 转移 概率 的 可 微 性 


我 们 已 经 看 到 离散 参数 齐 次 马 氏 链 在 每 一 步 上 的 状态 转移 运动 规律 简单 而 完全 地 由 一 
个 (一步) 转移 概率 矩阵 所 决定 。 但 是 对 于 连续 参数 齐 次 马 氏 链 而 言 ， 它 的 状态 转移 是 随 
着 连续 的 时 间 进 程 自由 地 发 生变 化 的 , 即 不 可 能 找到 一 个 基本 的 正 时 间 单 位 ( 汪 >0), 使 马 
氏 链 仅 在 对 ，# 二 1，2，*… 时 刻 发 生 状 态 转 移 。 当 然 也 就 不 可 能 由 这 一 个 转移 害 阵 P 
(4* ) 来 确定 出 转移 矩阵 族 {P(t) ,二 0} 了 。 这 样 我 们 必然 要 把 注意 力 转 向 马 氏 链 的 瞬时 变 
化 上 。 于 是 自然 就 会 想到 去 考察 p(t) 作 为 1 的 函数 在 [0， 十 ce) 上 的 可 微 性 。 如果 还 想 进 
一 步 试 问 ， 是 否 能 像 离 散 参 数 齐 次 马 氏 链 那样 ， 设 法 找到 一 个 和 矩阵， 由 它 就 能 刻画 决定 连 
续 参 数 齐 次 马 氏 链 的 状态 转移 规律 ? 为 了 对 此 问题 作出 明确 的 回答 ， 也 需要 转移 概率 函数 
P(t)，t 宇 0，i，jE5 关 于 过 的 可 微 性 知识 ， 先 讨论 它 在 0 点 的 可 导 性 。 
引 理 2 设 f(0) 是 定义 在 (0,co) 上 的 实 值 函 数 ， 并 且 满 足 条 件 : lim fGD 一 0， 以 及 
fC 二 s) 和 ff) 二 f(s), ss, tt € (0 coco)， (31) 
则 存在 极限 〈《 有 穷 或 是 十 cc) 
lim 了 = Sup 工 


teD+ 0 4 


(32) 
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证 对 任意 给 定 的 之 0, 任 取 正 数 h: 0<h<t, 则 可 写成 1=m4 十 ss， 其 中 心 为 正 整 数 ， 
0<s<4#。 利 用 式 (31) 得 


1 < uf fm) Dh fC) , 


+ t h 


令 h-0 十 ， 那 么 54 一 0 十 ， 由 假设 条 件 知 lim f(S) 一 0， 又 芝 一 1 一 等 -1。 于 是 从 式 
C33) 推出 


1 
~ hk 十 ke0 十 


£2) 之 了 (RD) mh 面 并 > 


of b+ 
jm fC) 
一 lim - 姜 -~ 一 
EN 
由 1 的 任意 性 便 有 sup <<lim 9。 从 而 得 
0 < p40 < mm 
dm op 


由 此 可 知 存在 极限 lim -总 一， 且 式 (32) 成 立 。 证 完 。 


. 定理 7 设 p(0), t>0, i， jE 585， 是 连续 参数 齐 次 马 氏 链 X 的 转移 概率 ,满足 标准 性 
条 件 ， 则 对 任何 8S， 下 列 极限 存在 〈 可 能 为 一 cc)， 有 


一 co < lim 2 二 一 入 0， (34) 


0+ 
即 p00) 在 0 点 处 存在 右 导数 p00) 记 为 qu。 
证 由 标准 性 条 件 及 定理 5 知 : 对 任何 经 8S， 有 门人 0， 芝 0， 故 可 令 了 (二 一 logps 
(t)，t 社 0， 这 是 非 负 有 限 值 函数 ， 且 lim f(D =0,。 又 因 C-K 方 程 ， 有 
psdt 十 s) 一 DP)piCs) > ppls), ts 0, 
jE 
故 了 (十 5) 二 一 logps( 十 8) 志 一 logps(t) 十 (一 logp.《5)) 二 JQ) 十 f(s) ,ts 之 0。 于 是 利用 
引 理 2 便 知 存在 极限 


lim 二 logpa() _ lim f (2) 一 sup f(t) 
te0 十 to + fr 
= Sup 二 JogzsCO (35) 
0 t 
仍 因 标准 性 条 件 lim fC) = Jlim 一 logzs(O 一 0， 所 以 有 
— -10 

lim ROFL lm 三 一 二 二 

0 十 t er0+ 
了 CD) , e-J2 一 1] 
= in FD 
一 一 lim 区 up O87 (36) 

tot+ + :>0 t 


记 lim 全 人 一 上 即 C0) 为 4.， 显 然 由 式 36) 知 g<<0。 式 (34) 得 证 ,定理 证 完 。 
注 对 任意 的 尽 0， 由 式 (35) 与 (36) 有 


174 马尔 科 夫 链 基 础 及 其 应 用 


pilt) = ee 之 ent, 


OTL > Lp, i€s, 1>0. 《37) 


定理 8 设 机 (0。 培 0 i, jE€5, 是 连续 参数 齐 次 马 氏 链 X= {( 式 ， 上 之 0) 的 转移 概率 ， 
满足 标准 性 条 件 ， 则 对 任何 六 径 3， 庄 j， 存 在 下 列 有 穷 极限 


0< lim ie < oo。 (38) 


和 -0 十 
若 记 lim 2 为 gs， 则 有 qj 全 一 Qa， ij， 而且 


0< Dg <— gi€ES 《39) 
寺 ! 
证 “对 任 给 的 正 数 *< 言 ， 由 标准 性 条 件 必 存 在 9 之 0， 使 得 对 任意 给 定 的 六 jE 8， 
ij 有 
Pit)>1—e, p>1—e, 0<ti<s6, (40) 
对 te (0, 6)， 取 更 小 的 hE (0, t)。 对 任何 i，j，kE5 构造 函数 列 : 
jPa Ch) = Pah), 
Pa(Cm++ DA) = 2), pomh)paCh), m= 1, 2,., 
r€ES 


rj 


其 中 ,pa(Gm 十 1)4 是 X 自 状态 ?出 发 ,于 24,… ,mh 时 都 不 处 于 状态 j, 而 于 Gm 十 1)4 时 
处 在 状态 + 的 条 件 概率 ， 即 

jpaCm+ DA = PX Kj = 1 mm, Xtrs = klXo = i), 
利用 概率 的 运算 性 质 及 的 马 氏 性 与 齐 次 性 , 有 


m1 
paCmh) = DY Py) pal Cm 一 Dh) +spa mb) 。 (42) 


ls 1 


(41) 


现在 取 正 整数 m 为 不 超过 二 的 最 大 整数 , 即 wi<t<(m 十 Dh 在 式 ( 纪 ) 中 , 取 4==j, n= 
可 得 


Pim) 一 2 pu) pa Cns 一 Dh) (43) 
l=! 
显然 有 
Ji pa — Dys(h), (44) 


由 式 (43), 式 (44)、 式 (40) 得 


pyCmh) 之 DAG — Dh)ps CR) pC nm — DE) 


i=1 


之 DY pd Da) ps Cha) (1 本 e) 。 (45) 
1 
再 由 式 (43) 及 式 (40) 得 


£ > piCmb) 之 2 PCDC1 一 8)， 


tm 


ws e 
或 2 2th) < Ts (46) 
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现在 式 (42) 中 令 = 一? 取 mm 委 w， 利用 式 (40) 与 式 (46) 得 
和 一 1 
1 — e< palmh) < ,7500h) + jpa (mh) 
l= 1 


二 J + jpi (mh) 0° 


从 而 jimh) > 二 二 至 。 (47) 


已 
将 式 (47) 代 入 式 (45) 中 有 
Pymh) nl — 3e)p(h), 


1 ps (nk ) pi;Ch) 
或 1 一 3e mah 全 hh (48) 


当 #>0 十 时 , 显然 mh 一 i, 因 定理 4 及 标准 性 条 件 , zw( 纪 是 上 的 连续 函数 , 于 是 从 式 
(48) 得 


1 pst) _ 1 oo DiCmh) oo pth) 
1 一 3e t 1 一 3e Jim mh 之 Lm ’ (49) 
由 i 的 任意 性 从 式 (49) 可 得 
1 lin 2 > 而 -20 ， (50) 
1 ~— 38 Sor 0 十 a 


- 在 式 (50) 中 , 令 er-0 十 , 便 知 lm 如 人 之 人 名 全， 这 就 表示 存在 极限 lim 了 ?二 , 显 
然 它 是非 负 的 , 记 作 wy 之 0。 注 意 到 式 (49) 的 左 方 是 一 有 限 值 , 因此 断定 %<co。 
对 等 式 De Pt 1 一》 一 上 ， 今 i0 十 ,利用 上 面 已 证 的 结果 及 法 


都 定理 与 定理 7 便 有 
Dg, 一 >) lim Py (t) 过 lim| 一 Pa) ol 一 一 di， 
i€s jES rot + 0 t 


2 


式 (39) 得 证 ,既然 >0, j 关 is 由 上 式 即 得 % 委 一 后 , j 关 i, 定理 证 完 。 

定理 7 与 定理 8 表明 连续 参数 齐 次 马 氏 链 X 的 转移 概率 函数 p00), ! 宇 0, i, j€E5, 在 i 二 = 
0 处 有 右 导数 (0) 一 0, i, jE 5 。 称 矩 阵 8=[gj] 为 X 或 {P(),t 汪 0} 的 密度 矩阵 (或 无 穷 
小 矩阵 ) .在 此 有 必要 指出 gu, i, jE 5 的 重要 意义 。 

(i) 显然 8 仅 由 PC 在 无 论 多 么 短 的 时 间 间 隔 tE 50, e) 中 的 值 所 完全 确定 , 所 以 在 
实际 问题 中 & 往往 比 {PQ), t 汪 0} 更 容易 得 到 ,而 县 更 有 意义 的 是 当 这 个 密度 矩阵 8 已 知 
时 ,有 时 可 以 反 过 来 由 @ 求 出 转移 矩阵 族 (P(D ,上 芝 0)}、 绝 对 概率 与 平稳 分 布 。 参 看 $ 3 中 的 
论述 。 

(ii) 在 文献 [2] 中 已 证 明 : 对 实际 问题 中 常见 的 齐 次 马 氏 链 半 = {Xl 尝 0), 令 一 pf 
{tt>0,X 隆 Xo} 则 对 任何 >0, 任何 iES 有 

PC(r>it|Xo=)=PX,=i,0Ks ilX =i) = en (51) 

如 果 和 一 0 由 式 (51), 这 等 价 于 pi()==1, l 宕 0。 即 表明 系统 从 状态 i 出 发 将 永远 保持 
在 状态 1 上 而 不 离开 . 故 称 此 ;为 吸收 状态 。 

如 果 g%= 一 oo, 由 式 (51) 有 pi(t)==0, 上 >0, 这 表明 系统 从 状态 i 出 发 , 对 不 论 多 么 短 
的 时 间 间 隔 内 , 它 都 不 可 能 继续 保持 或 停留 在 状态 ;上 , 必须 即刻 离开 i。 这 时 称 此 i 为 瞬 
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时 状态 。 

如 果 一 之 m, 之 0, 那么 系统 从 状态 :出 发 , 将 在 i 上 停留 一 段 时 间 然 后 再 离开 i. 由 式 
(51) 知 系统 停留 在 i 上 的 时 间 7 是 服从 参数 为 一 g; 的 指数 分 布 , 从 而 系统 平均 停留 在 i 上 的 
时 间 为 

Br|Xo = = 1/— gs (52) 
由 此 可 见 一 g 越 大 , 系统 停留 在 i 上 的 平均 时 间 越 短 , 发 生 转 移 越 快 , 否则 转移 越 慢 . 因 此 
一 g: 直 接地 刻画 了 系统 在 状态 i 上 的 转移 速率 (或 转移 强度 )。 

(iii) 至 于 gj(i 才 四 的 意义 , 间接 地 蕴含 在 下 面 的 事实 中 中; 如果 一 < 之 i 过 0, j 关 1， 

则 有 

P(t < co， dim X= j|Xo = i) = %/— (53) 
这 就 表示 在 系统 定 要 离开 初始 状态 ; i 的 条 件 下 ， 省 次 转移 这 入 到 关 夫 的 条 件 概 率 是 
qi/— Que 

实际 上 , 标准 的 转移 概率 函数 p,(,t 宇 0, i, jE5, 在 !=0 点 处 的 可 导 性 也 保证 了 
P32) ,i jES5 在 t€E(0, oo0) 的 每 一 点 处 的 可 导 性 ， 对 此 有 下 面 的 重要 定理 ; 

定理 9 设 连 续 参 数 齐 次 马 氏 链 的 转移 概率 隙 数 p02), ! 汪 0, i,7E 5 满足 标准 性 条 件 ， 
则 

(i) 对 任何 ? JE 总 ， 2 在 i€ (0,c2) 上 有 有 穷 的 连续 的 导 函 数 (人 ,如果 gi 一 00， 
那么 为 (9 在 二 0 处 也 连续 。 | 

Gi》 ”对 任何 iE8, 对 一 切 i>0， 2 | 友 (DD1 有 穷 , 而 且 对 :不 上 升 .如 果 之 一 oo， 那 
么 还 有 

2 [BD | SE 2 DW) = 0 1t>0, i€s, (54) 


jE 


(iii) 对 任何 i，j€5，p;(t)，t 宇 0 满足 下 列 方 程 ; 


pt) = Ppp(s), it>0,s>0, (55) 
ES 
Pts) = Dpatdp(s), tt 0,s> 0, (56) 


定理 9 的 严格 证 明 要 用 到 测度 论 等 较 深 的 分 析 知 识 ， 不 便 在 本 书 中 给 出 ， 可 参看 文献 
[24、[4]。 


8$ 3 柯 尔 莫 哥 洛 夫 向 前 与 向 后 方程 


在 实际 应 用 中 , 经 检验 判定 所 讨论 系统 的 数学 模型 是 一 齐 次 马 氏 链 X 之 后 ， 要 想 直接 
给 出 X 的 转移 概率 函数 族 {p,(0, 之 0 i, jE}，, 一 般 是 很 困难 的 ,然而 $2 已 指出 在 通常 
都 能 满足 的 标准 性 条 件 之 下 , 必 有 有 穷 的 连续 的 导 函 数 志 (0), 上 之 0, i, jE 5。 于 是 很 自然 地 
会 产生 如 下 合理 的 设想 :试图 建立 关于 {p04)，, ! 衬 0， i，jE 58} 的 微分 方程 组 ， 如 能 得 以 
实现 ,那么 就 可 通过 求解 该 微分 方程 组 的 分 析 方 法 ， 达 到 求 得 {pyC)，, ! 宇 0, i,，jE 85) 之 目 
的 。 

”定理 10 设 {p,(D, 必 0, ijES} 是 标准 的 转移 概率 函数 族 , 其 密度 矩阵 @= [4]， 
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又 4 一 co，5ES。 则 对 任何 it，jE8 及 任何 二 09， 有 


Plt) > gaps (0) + 2 gapydt), C57) 
[a 

Pi pst) gy + 2D Pat)gyo (58) 
bj 


证 对 任何 过 0， h>0, 由 C-K 方程 有 
pot oP) _ ph)— 1 puCh) 
+ 


pyCt), 《59) 


BED PD = mw HDTL + Fpl EO., 《60) 
4 


在 式 (59)、 式 (60) 中 , 令 ji 一 0 十 ,由 定理 9、 定 理 7、 定 理 8 及 法 都 定理 ， 即 得 式 (57) 与 
式 〈58) .证 完 。 
当 式 (57) 与 式 (58) 中 的 等 号 成 立时 ， 即 对 任何 i，jE€E5,， 一 切 垃 0， 


Pj(t) = gapy(t) 十 Dgapu(t), (61) 
hi 
Pi(t) = py(0) gs 十 De (62) 


划分 别 依次 称 式 (61)》 与 式 (62) 为 柯 尔 莫 哥 洛 夫 向 后 与 向 前 微分 方程 组 ， 简称 柯 氏 方程 
组 。 若 记 和 拖 阵 7 (= [ 吉 (Q)]， 那 么 式 (61) 与 (62) 可 以 用 矩阵 分 别 依次 写成 ， 
p (t) = QPO), P(t) = PCD9。 

一 旦 式 (61) 与 式 ‘62) 成 立 ， 通 过 求解 该 线性 微分 方程 组 ， 便 由 这 一 个 密度 矩阵 8 确定 
出 了 转移 概率 矩阵 族 {fj,t 宇 0}) ,8 起 到 了 像 离 散 参 数 齐 次 马 氏 链 中 (一步 ) 转移 概率 矩阵 
P 一 样 的 作用 。 这 正 是 柯 氏 方程 组 和 密度 矩阵 的 重要 意义 所 在 。 

由 定理 10, 对 于 一 般 的 标准 转移 矩阵 族 , q;> 一 00, i€E5， 只 能 保证 式 《57)、(58) 成 
立 。 柯 氏 方程 组 (61)、(62) 未 必 成 立 。 因 此 有 必要 寻求 使 得 式 (61)、(62) 成 立 的 条 件 , 为 
此 先 给 出 下 面 有 用 的 概念 。 

设 连续 参数 齐 次 马 氏 链 X 的 转移 矩阵 族 {PQ), t 守 0} 满足 标准 性 条 件 , 称 其 密度 矩阵 
8 一 [gy] 或 XX 是 保守 的 ， 如 果 对 任何 iES， 都 有 


Dy 一 一 和 < oo。 《63) 


如 果 是 有 限 集 ， 那么 在 等 式 
pi(t) 一 i 一 Da(t) 
t 9» 


7 ti>0,i€ES 


区 
中 令 0 十 ， 由 定理 8 与 定理 7 便 得 式 (63)。 所 以 满足 标准 性 条 件 的 有 限 齐 次 马 氏 链 必 是 保 
守 的 。 

定理 1 设 {py(0), 1 宇 0, i, jE5) 是 齐 次 马 氏 链 的 转移 概率 函数 族 ,满足 标准 性 条 


件 , 又 4 汪 一 2 ，iE 5。 则 柯 氏 向 后 方程 组 
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p36) = (9Dp5(G0 十 00), i jE€ 5S, t>0 (64) 


成 立 的 充 要 条 件 是 其 密度 矩阵 8= [gj] 为 保守 的 。 
证 先 证 充分 性 ， 因 为 
1， /一 小 
0， 守 天 放 
故 当 二 0 时 式 (64) 显然 成 立 。 现 对 任意 给 定 的 >0，i,，jE5 倘若 式 (64) 不 成 立 ， 那 么 
由 定理 10 中 的 式 (57〉 及 定理 9 中 的 式 (54) 并 用 保守 的 假设 条 件 有 


0= DO) > Dap ld) 十 D) DJ qun C0) 
Es r€s 7E3 ki 


一 gi 十 Da = 0, 


4 


导出 矛盾 ， 这 表明 对 一 切 i，j€E5，t>0, 式 (64) 必 成 立 。 

现 证 必要 性 .已 知 式 〈64) 成 立 ， 对 任意 给 定 的 i8 及 过 0,， 将 等 式 〈64) 两 方 对 7 
E55 求 和 ， 因 为 0 之 gs> 一 吕 以 及 定理 9 有 

0 = 7) 一 Zps 十 和 2 Psd) 二 gi 十 PD 

即 式 (63) 成 立 ， 4 是 保守 的 ， 定理 证 完 。 

定理 12 设 {pj(), ! 之 0, i, jE 5S) 是 齐 次 马 氏 链 的 转移 概率 函数 族 ， 满足 标准 性 条 
件 ， 又 设 2 一 SR (—g) 志 co， 则 柯 氏 向 前 方程 组 成 立 ， 即 

Pi(t) = psy(t)g; 十 PAOLA i, jE 5S ti>0, (65) 


1 
证 ”任意 取 定 i，j€E5S, t 字 0, 4>>0， 对 任何 E85 姑 j, 记 所 ( 引 二 一 logPu (2) 之 0， 则 
由 定理 ?的 式 (36) 及 本 定理 的 假设 条 件 ， 得 知 


jh h 1 一 大 

0< 人 ) 过 >) 了 一 pa Ch) 
3 
A 


pi(0) = 6 = | 


h 


0) 
EA oh 


1 一 er 1—e ” 
h 和 h 
1 一 erut 
过 h 一 gu 人 qo。 (66) 


于 是 当 4-=0 十 时 ， 因 为 式 (66) 及 包 mm 一 1 在 等 式 
pi(t 十 2 一 p(t) = p(t) 2 一 1 十 ypu(D) Pu 
号 

中 的 右 方 级 数 关 于 下 是 一 致 收 伍 的 , 对 上 式 两 方 取 极 限 , 由 定理 7 与 定理 8 即 得 式 (65) 定理 
证 完 。 

容易 看 出 两 断 语 “g—sup (一 0) <co” 与 “ 数 集 {一 4,，i€E5) 有 界 ” 是 等 价 的 ， 现 
在 给 出 这 些 断 语 的 一 个 充 要 条 件 。 

定理 13 设 9= [gq] 是 齐 次 马 氏 链 标准 转移 概率 函数 族 {zv(G0，! 关 0, i,， jE 5S} 的 密 
度 矩 阵 ， 则 {一 gt，iE5} 有 界 的 充 要 条 件 是 

lim p(t)=1, i€S (67) 
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对 ;i 一致 成 立 , 这 时 
lim 部 中 二 1 gs i€S (C68) 
0+ t 
对 i 也 一 致 成 立 。 
证 ” 先 证 必要 性 , 记 拓 (人 = 一 logps(t)， 由 式 (35) 有 
pst) = et eu,t> 0, i€ 8, (69) 


如 果 {一 ga，iE5) 有 上 界 M 之 0， 则 式 〈69) 知 
入 (之 ee 一 了 (人 和 安 1 一 er， 之 0,1ES， 
于 是 对 任 给 的 :>0， 必 存在 6 汪 0， 使 得 0 和 1 一 e-*<e， 对 所 有 0 志 t<<6 之 上 都 成 立 ， 故 
O01) ee Di€ 5S,0<t<s, (70) 
式 〈70) 即 表示 式 (67) 对 1 一致 成 立 。 
再 证 充分 性 . 设 式 〈70) 已 成 立 。 对 任 取 的 一 组 非 负数 0 一 bm<6<…<t# 一 6， 令 


1 ， v= YU, 
mo, 一 让 四 一 0,1, 2X = 让，n 守 v 之 1 (71) 
则 由 式 (70)， 以 及 马 氏 性 、 齐 次 性 和 概率 的 运算 性 质 有 
1 — < pi(0) =,ps + 5 Papi teri — ba) pid 一 bri) 
v0 ji 
之 .ps 十 3 2) pips Clot — ta)e 
v0 ji 
pu 十 eCl — ,pa) 9 
由 此 可 得 
(1— 2d —,pa) 忆 ] 一 pu(6) < 过 8。 (72) 
应 用 从 标准 性 条 件 可 导出 的 式 (51)( 见 文献 [2]) ， 由 式 (72) 得 
(1—e)(l—erw)<1— (0 ee, (73) 


取 。= 考 ， 由 式 (73) 得 es*>> 卫 ， 故 一 g;<< 一 地 10g 方 , 对 一 切 iE 都 成 立 , 即 {一 gq i 
ES5) 有 界 。 
最 后 ， 由 式 (73) 与 式 (69) 知 ， 


dd < (一 9) < 上 全 — (~ gq), 
故 2- < < < i€S, (74) 


也 即 证 明了 | 世纪 一 上 2 一 La <em, 0<i<6，iE 8， 式 (68) 关于 ;一致 成 立 .定理 证 完 。 
当 $ 是 有 限 集 时 ,相应 的 标准 转移 短 阵 族 {PC) ， 必 0) 除了 是 保守 的 之 外 ,显然 
sup( 一 4) < co 或 (一 %，iE 8) 有 界 或 式 《67) 关于 iE 5 一致 戌 立 等 综 满 足 。 因 此 对 有 限 

齐 次 标准 马 氏 链 ， 柯 氏 向 后 或 向 前 方程 组 都 成 立 ， 即 总 有 
PCD 一 CQCP = PQ; > 0， (75) 
初始 条 件 自然 是 PC0) =1 单位 矩阵 ， 而 上 面 的 常 系数 线性 微分 方程 组 的 解 就 是 


Pd = e+ YK, 1>0, (76) 


a=l] 
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式 《76) 右 方 的 级 数 收敛 ， 并 是 方程 组 (75) 的 唯一 解 . 所 以 有 限 齐 次 标准 马 氏 链 的 转移 矩 
阵 族 通过 式 (75)、(76) 被 它 的 密度 矩阵 唯一 决定 ， 
此 外 利用 密度 矩阵 与 柯 氏 方程 组 还 能 给 出 齐 次 标准 马 氏 链 工 的 绝对 概率 
POO=PK=))= Ph) t20,j€ES (77) 
i€ES 
所 满足 的 微分 方程 组 , 其 中 二 PCXo= 让 , iES 是 X 的 初始 分 布 .事实 上 ,如 果 对 齐 次 标准 
马 氏 链 X，gi> 一 2 ，iE5， 并 且 相 应 的 柯 氏 向 前 方程 组 成 立 ， 即 


Pit) = pst) gj 十 2) pa C0) gy, t 守 0,i,jES (78) 
ES 
4 
用 关 乘 上 式 (78) 两 边 ， 然 后 对 i€E5 求 和 得 
> yp05(D = Ppp gt Dp pt 0, jE S, (79) 
ES iES iEs ES 
hj 
又 假设 下 式 成 立 ， 


Dpp) = (Dp)) =p0),t20,j€S, 
i€ES ES 
即 假设 求 导 运算 与 求 和 运算 可 以 交换 ， 那 么 式 〈79) 可 写成 
POO = p+ Pn, i0,jES (80) 
ES 


kj 


解 此 常 系数 齐 次 线性 微分 方程 组 〈80) 便 可 求 得 p)()，t 庆 0, jE 8。 
特别 地 ， 如 果 对 马 氏 链 式 有 pr( 一 秋 常数 ， ! 之 0， jE€ESB, 即 X 有 平稳 分 布 开 一 {Xj» J 
ECS): 


m0 Dmn=1l, n= Dp(t), t>0,j€ 5, (81) 
jES i€Es 
那么 由 式 〈80) 即 得 平稳 分 布 了 要 满足 的 代数 方程 : 
0 = zg5 十 > magu， Dj = l, jE€S。 (82) 
ES ES 


二 天 了 

解 此 线性 方程 组 便 可 得 X 的 平稳 分 布 。 

当 & 是 有 限 集 时 ， 由 前 面 已 经 证 实 过 的 结论 知 式 〈75)、 式 〈80) 、 式 〈82) 总 成 立 。 因 
此 对 有 限 齐 次 标准 马 氏 链 而 言 , 柯 氏 方程 组 与 密度 矩阵 总 可 用 来 求 得 绝对 概率 与 平稳 分 布 。 

伴随 利用 柯 氏 方程 组 寻求 转移 概率 函数 族 的 这 个 方法 ， 自 然 会 提出 以 下 几 个 基本 且 重 
要 的 理论 问题 ， 即 柯 氏 方程 组 的 解 是 否 存在 ? 若 存在 ， 解 是 否 唯一 ? 若 不 叭 一， 如何 找 出 所 
有 人 解 ,然而 真 要 求 得 出 全 部 解 是 相当 困难 的 。 

更 一 般 的 是 所 谓 Q -过 程 问题 ,对 于 和 矩阵 8 二 [%j]， 如 果 

gj 0,， i,jES, ij O00>— ,i€s,; 
(83) 
| 2 ds» ES 

刘 称 此 8 为 一 个 Q- 和 矩阵。 对 给 定 的 一 个 8- 和 矩阵 @， 如 果 存 在 一 转移 概率 怎 阵 族 {PCD ，t 
之 0), 使 得 它 以 此 8 为 自己 的 密度 矩阵 , 则 称 此 {P(0), 过 0} 为 一 个 Q -过 程 , 或 @ -过 程 
问题 的 一 个 解 .而 Q -过 程 问题 就 是 指 : 解 是 否 存在 ? 若 存在 ， 是 否 唯一 ? 若 不 叭 一， 如 何 找 
出 全 部 解 ? 等 基本 理论 问题 .有 关 解 答 这 一 专题 的 深入 内 容 需 要 参看 一 些 专著 和 论文 ， 如 
[2] 及 其 后 所 列 出 的 文献 。 


第 八 章 ”连续 参数 的 马尔 科 夫 链 181 


$ 4 两 个 重要 的 连续 参数 齐 次 马尔 科 夫 链 


本 节 将 要 介绍 两 个 在 实际 应 用 中 常 作为 具体 问题 的 数学 模型 的 连续 参数 齐 次 马 氏 链 ， 
给 出 它们 的 数学 定义 以 及 各 自 最 基本 的 有 用 特性 .至 于 具体 的 应 用 实例 将 集中 在 第 九 章 里 
统一 地 进行 论述 。 

1. 生 灭 过 程 


设 连续 参数 齐 次 蕊 氏 链 X= {Xt>0) 的 状态 空间 5 为 【0，1，2，…} ， 转 移 概 率 矩 
阵 族 为 {PO 二 [zs 人 的 ]，! 芝 0)， 且 满足 标准 性 条 件 ， 又 它 的 密度 矩阵 为 4 一 [qsj， 如 果 满 
足 条 件 


好 一 0， 当 i,j EE SS， |i 一 j| 之 2。 (834) 

更 确切 地 说 是 对 任何 i，;ES 有 
0 一 和 Ng 一 Ah 一 一 (十 AD)， 加 
9 (85) 


和 一 0， 上 一 放 之 2 
其 中 罗 宇 0, iE5，pw 二 0, 对 iE8 但 i 活 0， 4 宇 0， 且 和 十 之 0， 即 8 呈 下 列 形式 ， 


一 和 hx 0 0 0 0 .| 
[a 一 《十 p11) i “”" 0 0 0 
@ 一 。。 oo 。。 0 (86) 
0 0 0 一 (+ 和 
. ee qv Bb LA err “| 


则 称 此 X 为 生 灭 过 程 ,由 密度 矩阵 中 每 个 元 素 4 的 意义 以 及 式 (85) 知 , 生 灭 过 程 的 一 种 等 
价 定义 是 X 的 转移 概率 函数 族 (pC(2), ! 汪 0, i,， jE 5S) 满足 下 列 条 件 : 对 任何 i, JE 5, 在 
tf->0 十 时 ， 有 

ZHI 一 5 十 CC， 

太一 Ht 二 ob， 

palt) 二 1 一 (和 十 jn)t 十 0()， 

pst) 二 00(t)， i 一 川 之 2， 
其 中 入 ，4，iE€E5 是 如 前 面 所 给 的 非 负数 。 

如 果 生 灭 过 程 X 所 描述 的 是 某 群 体 含 有 个 体 的 总 数 随时 间 变 化 的 进程 ,那么 式 (87) 就 
表示 如 果 现 有 总 数 为 i 的 该 群体 一 旦 发 生 了 改变 , 只 能 转变 到 总 数 为 :十 1 或 i 一 1 两 种 状态 。 
由 状态 0 只 可 能 转变 到 状态 1。 因 此 如 果 该 群体 所 含 个 体 的 总 数 从 状态 i 经 有 限 多 次 改变 转 
移 到 了 状态 j，j 关 i， 则 它 必须 经 历 过 i 与 j 之 间 的 一 切 状态 。 对 现 有 总 数 为 ;的 群体 ， 每 当 
其 大 小 增加 了 1 时 (或 减少 了 1 时 ), 便 说 出 现 了 一 个 增生 (或 一 个 消亡 ), 并 分 别 依次 称 % 与 
六 为 增生 率 与 消亡 率 . 对 生 灭 过 程 X, 如 果 二 0, iE5, 即 只 有 增生 而 无 消亡 ,这 时 称 此 X 
是 纯 生 过 程 ， 类 似 地 ， 如 果 和 ==0，iE5， 即 只 有 消亡 而 无 增生 ,自然 称 此 X 是 纯 灭 过 程 ， 

从 上 面 的 论述 已 经 看 出 , 和 (或 上 ) 起 到 了 刻画 群体 大 小 从 i 增长 到 i 十 1 (或 减少 到 ; 
一 1) 的 转移 强度 的 作用 .现在 再 进一步 考察 入 与 A 的 意义 ,我 们 总 可 以 适当 地 选择 时 间 单 


《87) 
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位 使 得 入 <<1, 并 且 可 用 此 入 作为 群体 大 小 从 i 开始 在 下 一 个 时 间 单 位 达到 i 十 1 的 概率 的 过 
似 值 .于 是 群体 大 小 从 i 开始 达到 ;十 1 所 需 时 间 单 位 数 的 期 望 值 为 


oo 


ynaP (开始 为 i, 在 第 4 个 时 间 单 位 首次 达到 i 十 1) 


nel 


一 Zadl 一 和) 一 一 82， (2) | : = 一 (] 一 入 ) 


-| 
=%( > z] 1 一 z [z=1—% 
nl zx 二 1 一 和 
1 = 二 
= hy 和 (88) 
rz 二 1 一 不 


因此 入 还 起 到 了 群体 大 小 开始 为 ;直到 在 下 一 次 增生 达到 i 十 1 所 需 时 间 服 从 的 指数 分 布 中 
的 参数 作用 .同样 上 也 起 到 了 群体 大 小 开始 为 直到 在 下 一 次 消亡 减少 到 ;一 1 所 需 时 间 服 
从 的 指数 分 布 中 的 参数 作用 .由 此 引出 了 生 灭 过 程 的 另 一 种 等 价 定义 5 。 

称 状态 空间 8 为 (0，1，2，…} 的 连续 参数 齐 次 标准 马 氏 链 {X,, 过 0} 是 一 个 生 灭 
过 程 ， 如 果 满 足下 列 条 件 : 

(Qi) ” 当 链 开始 处 在 状态 ;， 直 到 它 首 次 移动 到 达 状 态 i 十 1 为 止 ， 所 需 的 时 间 服 从 参数 
为 和 的 指数 分 布 ， 

《ii) ” 当 链 开始 处 在 状态 i, 直到 它 首 次 移动 到 达 状 态 ;一 1 为 止 , 所 需 时 间 服 从 参数 为 
点 的 指数 分 布 ; 

《iii) Qi) 与 (让 中 所 有 这 些 所 需 时 间 是 相互 独立 的 。 

现在 给 出 有 关 生 灭 过 程 的 转移 概率 函数 及 平稳 分 布 的 几 个 结论 。 

定理 14 (GD 设 {X,,，t 宇 0} 是 纯 生 过 程 ， sup {多 ) 二 oo， 则 


pj) =0, ijES, j<i, t>0, (89) 
pil) =e , i€ S, t 之 0, (90) 
pst) 一 Mi esp a, by 2 所 5S， J > ts ti 之 0， (91) 
ee 
Piiti(t) = 和 +1 一 入 i€ES (92) 
Ate Mri 一 如 
(iD 设 {X,t 宇 0) 是 纯 灭 过 程 ， sup {1} <o%0, 则 
Pilt) = 0,.1, jE 5,j>1i,t 守 > 0, (93) 
pult) 一 e 44， iE€ES,t 之 0， (94) 
1D) = pm {ep Cd, bj € 3, j<it 0, (95) 
本 一 一 
一 一 -一 (ee 人 笃 一 6e -0 和 i 一 19 
Pisi~1 Ct) -= 一 内 “ 天 tiie 人。 (96) 
Lite™ "i , i 二 瞧 -1 


证 (iD 因为 是 纯 生 过 程 ， 所 以 式 (89) 显然 成 立 , 由 假设 条 件 , 柯 氏 向 前 微分 方程 
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组 成 立 ， 即 有 
pit) = py DC— hh) + pj) hi i jE St 0. C97) 
于 是 由 式 (97) 与 式 (89) 取 j=i 得 
pd) 一 一 Nt， ES，t 之 0， 


既然 %(0) 一 1， 解 上 面 的 方程 即 得 式 (90)。 

对 任意 给 定 的 六 JE S， 由 方程 (97) 及 mi(0) 一 5， 利 用 一 阶 线性 常 微分 方程 的 参数 变 
易 求 解法 ， 即 得 式 《91)。 

特别 地 在 式 (91) 中 ， 当 j=i 十 1 时 ， 应 用 式 (90) 便 有 


Piti(t) 二 入 | em (om 


¢ 
一 se | e+ ga 
0 


A ht eh 人 
-| eh i€ 8S, 1 0 


te 一 at 2 一 和 
式 (92) 得 证 。GD 证 完 。Gi) 中 的 式 (93) 一 (96) 完 全 类 似 可 证 。 
为 寻求 生 灭 过 程 具 有 平稳 分 布 的 充 要 条 件 ， 需 要 下 面 的 引 理 。 
引 理 3 设 {z(D， 必 0 ijES) 是 齐 次 马 氏 链 的 转移 概率 函数 族 , 满足 标准 性 条 件 ， 
则 
lim Pit) =0, i,j€ES, (98) 


证 由 定理 9， 在 式 (55) 中 ， 固 定 :而 令 s~*co 时 ， 因 为 式 (28)、(29) 知 下 列 极限 存在 
lim Pt + 8) = lim 2) palt) ps) 
eo oes 


= 2 p00) lim pCs) 


一 Span, 
记 此 极限 为 二 limpsCD ,i jES。 对 任意 给 定 的 ,jE 8， 倘若 设 p>0， 那 么 必 存 在 正 娄 
c， 使 得 
Fp < <Fp to 
成 立 。 再 由 定理 9 知 而 (9 在 〈0，ce) 上 连续 ， 故 有 


本 patt —c) pd) — ple) 


=| ps)ds < 总 mt 一 c)， 上 之 c。 
由 此 可 得 limps() 二 00， 但 这 与 0 志 pj( 志 1, 池 0 牙 盾 ， 所 以 ps 不 可 能 大 于 零 。 类 似 可 证 ps 


也 不 可 小 于 零 ， 于 是 必 有 pj 二 0。 引 理 证 完 。 
定理 15 设 X= {X,, 之 0) 是 生 灭 过 程 ， 增生 率 hj: 0<=%hN9 之 00， jE€ES, SB {hi} 00， 
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消亡 率 pj: 0< mm< coco，jJE 3 一 人 0}， sup {1} <oco， 则 此 式 具 有 平稳 分 布 {zi，jE5) 的 充 
要 条 件 是 


2 一 co， (99) 
jEs /HE ”人 
亩 且 这 时 有 
1 
N60 = 一 一 一 一， 《100) 
" i+ D7 Whi hf trip 1) 
jes 
n= -com， jeS 一 (0)。 (101) 


LA 一 1 人 


证 在 定理 的 假设 条 件 下 首先 可 以 看 出 的 一 切 状 态 都 是 互通 的 ， 从 而 XX 是 不 可 分 
的 。 所 以 由 定理 6 知 存在 下 列 不 依赖 于 i 的 极限 : 
lim ps() = ij€S, (102) 
故 
lim pj(l) slim 2} pC0) p50) 
Iwo Ire Es 
= Dp(Om = Nn, jES, (103) 
ES 
因此 如 果 X 有 平稳 分 布 *， 那 么 此 必定 是 (mm，JES)。 并 且 在 定理 的 假设 条 件 下 ，X 是 


保守 的 ， 相 应 的 柯 氏 向 后 与 向 前 方程 组 都 成 立 。 进而 由 式 〈82) 知 (4,， jE 5} 应 满足 如 下 
代数 方程 : 


— ij = i Tig jE 5, Pi= 1 (104) 
JE5 
将 号 二 一 《6% 十 如 ) gi 二 为-19 gt 王 如 3'!1 代 入 上 式 (104) 得 
7 Wt WN Th jE NS, (105) 
其 中 规定 4 二 w==0。 于 是 在 式 (105) 中 取 j=0 便 有 
To 和 一 mh 一 0， N= 各 mw， (106) 
Hs 
再 在 式 (105) 中 取 j=1， 并 应 用 式 (106) 就 有 
NiMl 一 NR2ps = 0， 2 一 妈 m。 
于 是 应 用 归纳 法 得 到 下 列 递 推 关 系 式 : 
Nt = rt, jE 8, (107) 
itt 


从 而 有 
Nj 一 一 一 一 一 一 mr jES— {0}, (108) 
此 即 为 式 (101)。 由 式 (104) 可 得 
二 Vir 一 SA Xi 
! A ml 十 2 AL 二 1 ] 


既然 已 假定 平稳 分 布 (mw;，jES) 存在 ， 必 有 0 委 m 和 1， 于 是 由 式 〈109) 知 必 须 


(109) 


MY -yr 
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SE 
jES tl hi 
即 式 (99) 成 立 。 再 由 式 〈109) 即 得 式 〈100) 。 必要 性 得 证 。 
现 证 充分 性 。 在 定理 的 假设 条 件 下 柯 氏 向 前 微分 方程 组 成 立 ， 即 对 任何 5 经 3S，( 之 0 有 
人 一 一 《A 十 Py RA) 十 jpij1 Ct) 十 tiPostiCt), ji ES 一 {0)， 
pi0Ct) 一 一 hpio lt) 十 LPs (t) so 


(110) 
在 上 式 《110) 中 令 /oco， 由 定理 6 之 Gi) 及 引 理 3 使 得 
AH = 十 Wm hi jE SC— {0} 
MN 一 和 ozoy C111) 
其 中 忌 是 定理 6 已 证 实 存在 的 极限 impy( 人 ) ==， i, jEES, 应 用 归纳 法 由 式 (11i; 容易 解 得 
— -1 和 2" 和 2 Y 
7 一 op Nos J ES {0}。 C112) 
再 由 定理 6 中 的 式 (25) 及 式 (112) 便 有 
汪 一 NA ij-1 人 ji 一 2 人 0 
1 人 ml 1 十 2 , pe 
加 SC 
本 | 1 十 2 Kitili"*" Hl ” (113) 


如 果 27 G44 加 /pripy…pn) <<oo， 就 取 为 
l 


no Ee ee ee 
1 十 PD) Hh /pth i) , 
jE 
p . 
取 T= mm, jE S— {0}, 


AL 一 KH - 
这 样 所 定义 的 {x;，jE€ 5) 是 方程 组 (111) 的 唯一 解 。 显然 它 是 一 概率 分 布 , 而 且 是 
{7s(t)，t 之 0，i，jE€5) 的 平稳 分 布 。 


倘 著 7 三 加 os， 则 由 式 (113) 及 (112) 知 而 = 二 … 二 0，{zwj， jEA) 不 


j€ES AH "Hh 
是 概率 分 布 , 这 说 明 在 :oo 时 X 取 任何 有 限 值 的 概率 为 零 , 换言之 以 概率 1 X 的 值 将 趋 于 
无 穷 大 ， 充 分 性 得 证 。 
关于 生 灭 过 程 的 更 加 深入 而 丰富 的 内 容 ， 如 儿 个 数字 特征 的 概率 意义 及 它们 之 间 的 关 
系 ， 若 干 重要 的 停 时 及 其 分 布 ， 几 种 特殊 的 生 灭 过 程 所 具有 的 重要 性 质 等 等 可 参看 文献 
[2]、[37]、538] 中 相当 详尽 的 介绍 。 本 书 仅 再 论述 一 类 十 分 重要 的 特殊 的 生 灭 过 程 及 其 基 
本 性 质 。 


2. 普 阿 松 过 程 


普 阿 松 Poisson 过 程 有 多 种 等 价 的 定义 形式 。 
定义 1 设 X= {Xo，, it 尝 0}) 是 状态 空间 为 5= {0，1，2…) 的 随机 过 程 , 如 果 X 是 一 
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和 =X%>0, i€ 5, (114) 
且 Xo=0， 则 称 此 X 是 具有 参数 入 的 普 阿 松 过 程 。 
定义 2 设 半 = {X,., t>0} 是 状态 空间 为 S== {0， 1，2， pp 的 随机 过 程 ， 称 此 X 是 
具有 参数 ?>0 的 普 阿 松 过 程 ， 如 果 它 满足 下 列 三 个 条 件 ， 
(Gi) ”Xo 二 0， 即 X 的 初始 状态 总 为 0; 
(i) ”对 任意 给 定 的 正 整数 x 及 和 任意 的 a 十 1 个 实数 0 蕊 hb 之 过 < 之 -1 过 hh ， 随 机 变量 
Xi Xo XX X4 一 X,_ ,是 相互 独立 的 ， 即 X 具 有 独立 的 增 量 ， 
《iii) ”对 任意 给 定 的 非 负 实数 i<s< t, 随机 变量 X 一 X, 具有 参数 为 (1 一 s) 的 普 阿 松 
分 布 ， 即 
P(X — KX, = kh) = At edo!, EE= 0,1,", (115) 
即 增 量 X, 一 X, 的 分 布 仅 依 赖 于 区 间 [s, 日 的 长 度 i 一 s, 而 与 区 间 的 具体 位 置 无 关 , 也 即 此 
具有 平稳 的 增 量 。 
定义 3 设 X= {X., ! 宇 0} 是 状态 空间 为 5 一 {0，1，2，…} 的 随机 过 程 ， 称 此 X 是 
具有 参数 > 0 的 普 阿 松 过 程 ， 如 果 下 列 条 件 成 立 ， 
(1) Xo=0; 
(i ) ”XX 具 有 独立 的 且 平 稳 的 增 量 ， 增 量 非 负 ， 
(这 )》 ”对 任何 {二 0， 当 4-0 十 时 有 : 
P(X 一 苇 二 1) 二 入 十 0(h)， 
(sc X, > 2) = 0(4), ‘116) 
(iv) ”对 任何 jES，P,() = 二 P(X 二 四 是 在 [0，oco) 上 上 的 连续 函数 。 
定理 16 普 阿 松 过 程 的 三 种 定义 形式 : 定义 1、 定 义 2、 定 义 3 等 价 。 
证 ” 先 证 定义 1 一 定义 2。 定义 2 中 的 条 件 (Gi) 显然 成 立 , 因为 假设 XX 是 纯 生 过 程 及 式 
《114) 。 由 定理 14 中 的 式 (89)、(90)、(91)、(92) 有 


Put) = 0, i, jES, <， i 之 0， (117) 
pa lt) 一 e™*, i€ S, ti 之 0， (118) 
P(t) = 4| ep Gud, jE S,，j) 之 1i，t 之 0， C119) 
由 式 (119) 得 
Piuit1lt) = Me *, i EE S, ti 之 0， 《120) 
Dist2(l) 一 2 | ‘een ae edu 
ie [Wud = Caze-aj2 ,ieES,t30。 (121) 
应 用 式 (120)、(121)、(119) 及 归纳 法 可 得 
pst) = (Miet/(j ml, i,jE€ES,， j 之 i, t 之 0， (122) 
从 式 (122) 知 
pi (i) 一 Po-i(t), 1 2 € 85, 7 之 记 ， t 之 0。 (123) 


对 任意 的 实数 s，!:，0 委 s 近 ! 及 任意 的 kES， 由 式 《123)、(122) 有 
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P(X — Xs =k) = DP = pn — 5) = >)2(X = i)palt — s) 
i€Eg 


iES 
一 Fos—e) 
= palt 一 3) = (124) 


即 X, 一 X, 服从 参数 为 *(t 一 s) 的 普 阿 松 分 布 ， 定 义 2 中 条 件 Cii) 成 立 。 
对 任 给 的 0 入 6 委 … 系 4 及 任 给 的 避 ，…， 有 -ES， 由 天 的 马 氏 性 、 齐 次 性 及 式 〈123)、 
《124) 有 
P CX 一 所 二 上， X。 一 X, = kz, ***, X, 一 XX = k,—1) 
一 > PX = > Xi, = 一 Zz 十 上 ， X, 二 7 十 b&b 十， …:， X, 二 z 十 十 十 £1) 
ES 


一 > PX 一 7)Prsts (tz 一 tb) prt ssthth (a 一 ta) Ze 有 二 十 下 rth Ct — -1) 
ES 


一 po ( 一 ti)por, bs 一 ta) epor ,6 — hi) 
= P(X, 一 XU = bP — Xs = ba) PX 一 X = hi)o 
这 说 明 X, 一 X。，X 一 X,,，…X, 一 XX， ,独立 。 定义 2 中 条 件 (ii) 增 量 独立 满足 。 

其 次 证 定义 2 一 定义 1。 对 任 给 的 正 整 数 , 任 取 的 非 负 实 数 0<h<<4 过 … 过 6, 任 取 的 状 
态 姑 ,三 ，…， 玉 ES， 忆 < 委 避 委 … 委 避 ， 由 定义 2 中 的 条 件 (iD) 与 〈ii)， 即 有 独立 的 平稳 增 
景 知 

PCX = kos Xe = hs Xi = hh) 


一 P(X, = ko, Xu, 一 X = ki Kos," XX, 一 Xe 二 一 £1) 


= POX 一 如 ) 己 (全 一 从 二 上 一 Ko) POX 一 XX, 一 加 一 如 -1)， 


故 

PCX 一 kh| Xe 一 bh， Xe = kl X,, = hb1) 

一 P(X-， 一 习 一 k, 一 kk 1) 

= (MAb bm te Koilk, — ki1)!, (125) 
完全 类 似 地 可 证 


POX, = bX, = 0) = hb ho) te /Ch — hi) 1 (126) 


倘若 bob 而 ki >k,, 则 出 式 (115) 之 规定 知 
已 (和 一 hk [Xe = 850， XX = 如 -1) 


= 0=P(X, 一 六 |X = -1), (127) 
又 车 ko 过 …b-! 不 成 立 的 话 ， 仍 由 式 (115) 之 规定 知 P(X =bo, 9 X。， ,一刀 -0 一 0， 故 
这 时 P(X = 名] 二 如 ，…，X。-1 一 如 -1) 是 无 意义 的 。 综 上 所 述 并 比较 式 (125) 与 (126) 知 
式 《1) 成 立 . 即 X 具有 马 氏 性 .并 由 式 〈126) 知 X 的 转移 概率 函数 为 
(at — Sie Hf 11, ji 
0， 了 < 必 让 
由 式 〈128) 可 见 X 是 齐 次 的 与 标准 的 ， 并 由 它 即 可 算得 关 的 密度 矩阵 & 为 


pi(s,t) 一 0 过 ss 挟 几 (128) 
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故 X 是 由 定义 1 所 给 出 的 普 阿 松 过 程 。 
得 证 定义 2 一 定义 3。 由 定义 2 中 的 条 件 Gy)、GD、Giii)， 定 义 3 中 的 条 件 G7)、Gii)、 
(iv ) 显然 成 立 。 由 式 (115)， 当 A>~0 十 时 ， 
PCX 一 总 一 1) = He-* = MES) (— VW)" /nl] 
从 
= 认 [1 一 和 十 0( 有 == 轴 十 004)。 
PC(X — Ki 2) = D2) Me /bt = e+[er — 1— MH]= 00), 


故 定义 3 中 的 条 件 (i 〉 成 立 。 
最 后 证 定义 3 一 定义 2。 由 定义 3 中 的 条 件 G)、Gi ) 定义 2 中 的 条 件 G)、Gi) 显然 成 立 。 
对 任何 以 0，j>0， 当 和 >0 十 时 ， 利 用 定义 3 中 的 条 件 〈 让 )、( 过 ) 及 式 (116) 有 
pt = PX = 0) = PX = 0, Xn — X= 0) 
= POX, = P(X — X= 0) 
= pelDEl 一 PCX — X, > 1)] 
二 po 人 DLL 一 籽 十 0(4)]。 


于 是 有 
lim PD pt) iim { 一 Xpo(t) 十 QuD 1 -一 22o(Cb) 。 
0 十 天 0 十 h 


同 理 , 对 t>0, >4>0， 在 上 面 的 两 式 中 用 ;替换 十 ih， 而 用 (一 替换 t， 便 得 
pott) = POX = 0) = PX = 0, X, — Xs = 0) 
= P(X = OP(X, 一 X = 0) 
= pt — TI — POX, — Xs > 1)] 
= po CLIC 二 00)]。 


应 用 定义 3 中 的 条 件 (iv') 便 有 


Jim polt — h) — polt) 
he0 十 一 上 


= lim | 一 2oo 人 it 一 让) 十 2 一 一 Apolt)。 
0 十 


综 上 所 述 得 知 ppb 在 [0，c=) 上 每 一 点 处 右 导数 与 左 导 数 都 存在 而 且 相 等 ， 故 有 
0) 一 一 tp(t), t> 0, 
解 此 方程 得 pCt) 二 ce-*; t 守 0， 其 中 常数 c 被 条 件 p(0) 一 PCXo 一 0) 一 1 确定 为 1， 所 以 
polt) 一 et 0。 (129) 


类 似 地 ， 对 任何 jE 5 一 {0},t 宇 0，h->0 十 时 有 
p(t+h)= PXn=D) 
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=P{ULC, = j—h) NN CX — X= 1]} 
一 PCX = j, Xs — X, = 0) 

十 P(X = jj 一 1, Xr CO— X= 1) 

十 >7P(X 一 了 一 是 一 着 一 人 


be?2 
= pO) poCh) + ps- p16h) + Oh) 
= (1 一 Mp0) + Wp;-1Ct) + O00), 
由 此 便 有 
lim 2 
4 一 0 十 


Dt p00 - lim (一 Mpi(0 十 Hpilt) 十 一 一 


一 一 htt) 十 hpj-1(t)。 


同 理 ， 对 心 0， 巡 和 >0， 在 上 面 的 两 式 中 ! 才 4 用 上 蔡 换 ， 上 用 ! 一 4 蔡 换 便 有 
pO 一 PC =D = PU ji NN Xe = A))) 
= P(X,, 一 7， X, 一 Xs = 0) 十 P(X 一 J 一 1,X, 


一 Xi 二 1) 十 yeGx_， = j—k,X,— X, =k) 


hm2 


= (1 — Mp — + Mpi-ilt — h) + 0), 
由 定义 3 中 的 条 件 (iv ) 便 有 


lim DU = lim 
二 和 = 十 一 bh A—=0+ 


二 一 MD) + Mp1) 
总 之 ， CD 在 [0，co) 中 的 每 一 点 处 右 导 数 与 左 导数 都 存在 且 想 等， 从 而 有 
Pi(6) =— Hp;(t) + hpi-1(t), t 之 0,j€ SC— {0}, 


一 ApjC— 有 十 4pj-i1 惧 一 如 十 2 


或 等 价 地 有 
[en] = 0p 1), j € 8 — {0), (130) 
在 式 〈130) 中 取 ;=1， 并 利用 式 (129) 得 
全 [enpi(D] = eve 一 和 
求解 此 方程 得 通 解 为 


pC) 一 《ML 十 eye, 
其 中 常数 "被 条 件 Gi》 所 导致 的 21C00)==P (Xo==1) 三 0 确定 为 零 。 所 以 应 有 p100) = he™*， 
之 0。 
下 面 将 用 归纳 法 证 明 下 列 一 般 表 达 式 成 立 ， 
Ppt) = P(X =)) = Me/jl, jES— (0}。 (131) 
当 j=1 时 前 面 已 证 实 式 (131) 为 真 , 现 作 归纳 假定 : 若 对 j= (t 宇 1) 时 式 (131) 已 为 真 。 
对 j= 十 1， 由 式 (130) 与 式 (131) 有 


人 [exp = Me*p(t) = 和 +/ 
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经 积分 得 ep 一 "十 (0 C8 十 1D)1。 既然 pri(0) 一 0, 故 常数" 被 确定 为 一 0。 于 是 式 
(131) 对 和 一 上 十 1 也 真 。 式 〈131) 得 证 。 再 利用 条 件 Gi ) 便 知 定义 2 中 的 条 件 Qi) 即 式 
(115) 成 立 。 定理 证 完 。 

下 面 将 先 引出 几 个 刻画 普 阿 松 过 程 基本 性 质 的 时 间 特 征 量 ， 然 后 再 来 寻求 这 些 特 征 最 
的 分 布 。 若 以 X, 表示 从 零 时 直到 + 时 发 射出 尖峰 信号 的 个 数 ， 那 么 {X,,，t 宇 0) 往往 可 以 近 
似 地 看 作为 一 个 普 阿 松 过 程 。 如 图 1 所 示 ， 用 TZ，7T:，… 分 别 依 次 记 第 一 个 尖峰 信号 ,第 二 
个 尖峰 信号，… 的 发 射 时 间 ， 又 以 mr，z=1，2，… 表 示 以 第 * 一 1 个 信号 发 射 到 第 "个 信号 
发 射 所 经 过 的 时 间 。 一 般 分 别 依 次 称 7T., n=1，2,… 为 第 n 次 发 生 时 间或 第 7 个 事件 的 等 
待 时 间 , 称 志 ,ws 二 1，2,，… 为 第 7 个 相继 发 生 的 间隔 时 间 。 车 设 1 是 附 有 约束 : i 隆 7,,， + 二 
1, 2, … 的 任意 确定 的 时 间 , 则 以 $ 记 从 t 开 始 直 到 下 一 个 信号 发 射 为 止 所 经 历 的 时 间 , 而 
以 办 记 从 最 近 于 tt 的 上 一 个 信号 发 射 时 间 开 始 直 到 i 为 止 所 经 历 的 时 间 。 


TI Ty Ts T, 、 
0 一 一 一 时 间 轴 
2 7: Ts 7 人 


FT ,一 了, 一 全. 一 ] 


¥ Ea 
了 .1 了 


图 1 普 阿 松 过 程 的 时 间 特 征 量 示意 图 


定理 17 设 X={X,, ! 守 0} 是 具有 参数 >0 的 普 阿 松 过 程 ， 令 ,4 二 1，2，… 是 X 的 
相继 发 生 间隔 时 间 序列 ， 则 zx:，za=1，2，… 是 独立 同 分 布 的 随机 变量 序列 ， 皆 服从 参数 为 
和 的 指数 分 布 ， 从 而 有 .=1/X，z 一 1、2，… 

证 为 使 证 明 在 记号 与 叙述 上 简便 起 见 ， 仅 对 与 7 进行 论证 。 至 于 对 任意 有 穷 多 个 
，T2，"…， 的 证 明 是 类 似 的 。 

首先 由 亏 的 定义 知 : 对 任何 实数 之 0， 必 有 PCn 志 1) 二 0, 而 对 任意 的 如 宇 0， 由 X。 

二 0 及 式 (115) | 
Pw) = PX O21)=1—e™ (132) 
即 服从 参数 为 />>0 的 指数 分 布 。 
对 任意 的 如 ，y2 汪 0， 由 不， 的 定义 及 概率 的 运算 福 质 ， 对 任 给 的 正 整数 * 有 
Pn 人 ey Ty) 


i 


sa—} 
OPXn, — Xo= 0, Xatiy 一 Xn, = 1, 


a—]】 
Xt +y, 一 Xt 之 1) 十 2 


悦 征 人 


P(Xm, 一 Xo 一 0，Xati 一 Xe, 之 2) 
因为 普 阿 松 过 程 X 具有 独立 的 平稳 增 最 及 式 (115) 或 (116)， 所 以 上 式 右 方 为 
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| 


ee 全 了 4l 一 er ”2) 十 Sl 血 | 
= 1 ,- - (1 一 2 2) 十 wm[ 生 | 
令 w 一 co， 便 得 
Pn EI tn) em)(l em), yy>0 
另 一 方面 ， 又 有 相反 的 不 等 式 ， 对 使 得 站 <y 的 ， 
P (ra Sn Tay2) 


之 DPCXa，， 一 Xo 一 0， Xt 一 及 于 一 1 ， 


m0 


Xa ts, 人 st 之 1) 


eA 4 一 烛 My ” 
De snes 全 (1 一 ee- 全 ) ) 


n=0 

一 好 

1 一 en 
1— es 


由 此 可 见 ， 当 ws->oo 时 有 
P(r Ry Tyg) em em), yy >0 
综 上 所 述 便 得 : 对 Yi, ys>0， 


PT EY Ts RR) = em)( ~— ee) (133) 
在 式 (113) 中 令 1 一 co， 或 令 yz 一 2 分别 得 
P(ts Sy) = 1 — es， yz > 0， (134) 
P(t EN) = 1 一 en， yy > 0, 


又 注意 到 PC 二) 二 0, yy 志 0 与 P(wwy2)0，y, 人 0。 最 后 便 有 Pl(7 ,TY) 一 Pr 
委 j)P(m 和 1) ,一 芝 刀 ,y 芝 00。 这 表明 与 区 独 立 , 再 由 式 (134) 知 它们 都 服从 参 
数 为 4 的 指数 分 布 .定理 证 完 。 

定理 17 的 重要 性 在 于 它 揭示 了 普 阿 松 过 程 的 特征 性 质 ， 从 而 提供 了 一 种 检验 一 列 在 时 
间 上 随机 发 生 的 事件 是 否 属于 普 阿 松 类 型 事件 序列 的 方法 ,并 在 实践 中 应 用 蒙特 卡 罗 
《Monte Carlo) 方法 模拟 产生 普 阿 松 过 程 时 ， 也 要 用 到 这 个 结论 。 

推论 ”在 与 定理 17 同 样 的 假设 条 件 下 , 对 任意 给 定 的 正 整 数 ", r 与 7, 都 是 以 概率 1 有 
限 的 随机 变量 ， 即 

Pl )=1, POT,<oO)=1, n=1,2,., (135) 

而 且 7T. 与 i ，744z，… 独立 。 

证 由 概率 的 连续 性 定理 及 定理 17 中 的 式 (134)， 对 任何 a=1，2,，…， 有 


P(r < coco) = limP(r SS = iml — ew*= 1, 
由 T, 与 Ts 的 定义 知 7 一 Zr, 1 一 1， 2， 于 是 利用 上 面 已 证 的 结论 便 得 


PO < PD)= PN m0) =1, 
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既然 Tis TY29 … 是 相互 独立 的 随机 变量 序列 ， 所 以 T= 2 与 tt Ta 十 29 … 独 立 。 
定理 18 设 {X,， i 宇 0}) 是 具有 参数 >>0 的 普 阿 松 过 程 ，T,，r 二 1，2，*… 是 它 的 逐次 
发 生 时 间 (或 等 待 时 间 ) 序列 ， 则 第 次 发 生 时 间 7T。(n 二 1，2，…) 有 概率 密度 函数 。 


CD! ~ 
fr. C0) -= Ga 一 1)1 7 之 0， (136) 
0， ti 0。 


证 对 任意 给 定 的 正 整数 和 从? 因为 人。 非 负 ， 所 以 对 任何 :二 0， Fr ()=P(T,<O) =0, 从 
而 有 下.()=0, t<0。 
对 任何 {>0， 由 7. 的 定义 及 式 (115) 有 


Fr (0) = P(T, SO) = PX) = > 和 
因为 医 级 数 在 它 的 收敛 区 间 内 部 可 以 逐 项 求 导 ， 故 由 上 式 知 存在 


(0) 一 > Tr DT SY OD” jo- 
(MY! 
人 一 1)1” 

由 此 可 见 7, 有 如 式 (136) 所 给 出 的 概率 密度 函数 。 

定理 19 设 X={X,, t 宇 0} 是 具有 参数 ) 盖 0 的 普 阿 松 过 程 , 对 任意 给 定 的 ! 污 0, 办 是 如 
前 面 已 定义 的 羡 的 时 间 特 征 量 , 如 果 外 的 分 布 函数 是 连续 的 , 则 册 的 分 布 国 数 mm (z) 与 上 无 
关 ， 而 且 有 


隐 二 和 


= le» t> 0， 


F,( pp<on= ll ‘之 0, (137) 
“TAS 0, rz<0。 


证 记 0(z)==P($>z),z 之 0, 又 令 T 表 示 在 t 之 后 的 头 一 个 发 生 时 间 。 那 么 {8>>z} 
二 {T>t 寸 z}， 所 以 对 任何 x 宇 0, >0 有 
Gz 十 了 二 Ph>z 二 了 = PT>t+1I+D) 
二 P(T 二 ! 十 z 并 在 [十 rz, 十 z 十 站 中 没有 事件 发 生 ) 
= Pp > 7 Kitts — Kits = 0) (138) 
因为 ($ 之 xz) = 二 ($<<z)* 仅 涉及 到 在 时 间 i 十 x 以 前 发 生 的 事件 ， 所 以 由 六 的 增 量 独 立 性 及 
式 (116), 在 h->0 十 时 ， 上 式 右 方 可 表 成 为 
Glz + h) = Pp > z)POX — Xts = 0) 
= 0(7) (1 一 MW 二 0(h))。 (139) 
由 此 可 见 存 在 下 列 极限 


Clz 十 有 一 CCz) 了 
h 


lim = lim | 一 ac) 十 一 一 一 一 2C(z) 。 
0 十 人 十 
(140) 


同 理 ， 对 任意 的 xz 汪 0, z>h>0， 只 要 将 式 (138)、(139) 中 的 z 十 h,，z 分 别 依次 用 zz、 
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xz 一 ii 代替， 类 似 可 得 
CCz) = PF > 7 一 有 Ks O— Kss = 0) 
二 G(z 一 和 加 (1 一 入 十 0(8))， (141) 
根据 假设 P(x) 是 x 的 连续 函数 ， 那 么 G《2)==1 一 F(z) 也 是 x 的 连续 函数 ,于 是 由 式 
(141)》 知 存在 如 下 极限 ， 


lm 二 0) lim 一 Mo 一 有 内 土 


和 =0 十 到 0 


= 一 0(z)。 (142) 


0Ck) 
h 


由 式 〈140) 与 (142〉 即 可 断定 : 
G(x) =— AG(z),，z 守 0， 
又 显然 600) 二 PC(p>>0)=1, 解 此 初 值 问 题 即 得 6(z)==e“, z 之 0. 而 P( 和 委 z) 一 0,，z 一 0 是 显 
然 的 ， 式 (137) 得 证 。 
定理 20 设 X= {X,, t 宇 0} 是 具有 参数 >0 的 普 阿 松 过 程 ， 对 任意 给 定 的 { 守 0, 办 是 
前 面 已 定义 的 工 的 时 间 特 征 量 . 则 P(% 一 已 这 0， 并 且 
PEI)=1—e*,0Kr<it, (143) 


证 如 果 在 [0, 期 间 内 没有 事件 发 生 ， 由 办 的 定义 及 (132) 得 知 
P= =Pn > = >0, 


如 果 在 [0，w) 期 间 内 至 少 有 一 个 事件 发 生 ， 那 么 对 0 委 z<t， 有 
Pl >7) = P(X — Xs = 0) =e* 
式 (143) 得 证 ， 
对 于 具有 参数 全 普 阿 松 过 程 {(X， 坟 只 ， 任 意 给 定 的 达 0 及 0<<s 委 4 
Pl sii= 1) = Pn < ss, X= 1)/P(X, = 1) 
= (Me *) P(X, = 1, X, — X, = 0) 


一 (Me—*) -iNAse™ “ee) 一 T。 C144) 


这 表明 在 X 一 1 的 条 件 下 r 或 四 的 条 件 分 布 是 [0, 筷 上 的 均匀 分 布 , 这 便 揭 示 了 均匀 分 布 
与 普 阿 松 过 程 之 间 存 在 着 一 定 的 联系 ， 确 切 地 说 有 以 下 一 般 的 定理 。 
定理 21 设 {X,, 上 过 0) 是 具有 参数 >0 的 普 阿 松 过 程 。 对 任意 给 定 的 时 间 间 隔 L0, 纪 及 
任意 的 正 整 数 *， 则 在 X.=n 已 发 生 的 条 件 下 ， 发 生 时 间 向 量 (7,，7T,，… ,7,) 的 茶 件 分 
布 与 第 服从 【0, 电 上 均匀 分 布 的 独立 的 随机 变量 4， 总，…， 姻 的 顺序 统计 量 so ，*so， 
"Ew 的 联合 分 布 相同 。 
证 由 概率 统计 知识 ，(61，6:，…， 气 ) 的 联合 密度 函数 为 
fe ee Cu sda 一 (人 "Sm Sh 
S182 CU M2 Us 0 其 它 。 
(so 和，s，…，sw) 的 联合 密度 函数 为 
n/t, 0 


fan se Ct sh) | 0， 其 它 。 (145) 
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另 一 方面 对 任意 的 0 之 4 之 4 之 … 之 6 之 b==t， 及 任意 的 如 >>0 使 得 巡 4 二 hrs 一 1， 
2、…，n， 那 么 
已 (人才 委 友和 过 有 十 雄二 1， 2， nn|X, = 1) 
一 P( 在 [&,& 十 如] 内 恰 有 一 个 事件 发 生 , ! = 1,2,…,#, 在 [0, 科 
内 的 其 它 处 再 无 事件 发 生 )/PCX, = n) 
= P(X, — Xo = 0, Kats — Xs = 1, Xu, — Xt 
= 0,/= 1,2,., #4)/P(X, = #) 


一 POX = OPO, 一 Xs 一 1)P(CXK， ~ 全 一 0)77/P(X = n) 


= es Leh)e shri /esCA)" Cn! ) 一 
= 有 和 js ni/ 
故 存在 极限 : 当 0<5<5<<…<#<t 时 ， 


、 PCT 和 Eh, = 1,2,.… ,1|X, = 1) 
lim 一 一 一人 
有 0 十 局 2 


由 此 可 见 在 并 =# 的 条 件 下 (ZT,, T,,… ,7,) 的 条 件 概 率 密度 水 数 与 式 (145) 所 示 的 一 样 ， 
证 完 。 

定理 21 提 供 了 一 种 利用 一 事件 组 先后 发 生 时 间 的 条 件 分 布 来 检验 该 事件 组 是 否 属于 普 
阿 松 类 型 的 方法 。 为 了 认 清 普 阿 松 过 程 的 基本 结构 ， 最 后 给 出 以 下 结论 。 


定理 22 设 {4， r=1，2，,…} 是 只 取 正 值 的 随机 变量 序列 , 且 4Y, 一 oo。 对 >>0， 


= 于。 (146) 


令 
x i (147) 
a， 十 12， 

则 下 列 命题 互相 等 价 ， 

Ci) {X，t 宇 0) 是 普 阿 松 过 程 。 

Cii) {Y,，n 二 1，2，……} 是 互相 独立 的 并 具有 相同 指数 分 布 的 随机 变量 序列 。 

《ii) ”对 任意 的 心 0，X 服从 参数 为 对 的 普 阿 松 分 布 。 而 且 对 任何 心 0 及 任何 正 整 数 
1， 著 记 了 == 卫 十 … 十 了 ， 则 在 X=n 的 条 件 下 ，(7 ，72，…，2.) 的 条 件 分 布 与 定理 21 中 
所 述 的 (é4，，E&cwy，…*，é&tw) 的 联合 分 布 相同 。 

定理 22 的 严格 证 明 可 参看 文献 [4 。 

在 实际 应 用 中 还 会 遇 到 一 些 推广 的 普 阿 松 过 程 ， 如 非 齐 次 普 阿 松 过 程 、 复 合 普 阿 松 过 
程 、 过 滤 普 阿 松 过 程 、 更 新 过 程 等 ， 它 们 的 数学 定义 、 实 际 背 景 、 基 本 特性 以 及 与 普 阿 松 
过 程 之 间 的 关系 可 参看 文献 [12]、[37]、[38]、[39]。 
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马 氏 链 作 为 描述 一 类 实际 问题 的 数学 模型 在 众多 的 领域 内 已 经 取得 了 极为 丰硕 的 成 
果 。 本 章 则 在 通过 较 多 的 实例 对 此 作 一 概要 介绍 ， 以 这 样 一 些 事实 来 前 明 马 氏 链 的 应 用 广 
泛 性 。 随 着 马 氏 链 理论 与 其 它 数学 分 支 相互 渗透 、 促 进 、 共 同 发 展 的 进程 ， 考 察 它 作为 一 
种 数学 工具 在 解决 实际 问题 的 整个 过 程 中 所 发 挥 的 有 力作 用 ,不 断 产生 出 来 的 丰富 思想 , 陆 
续 创造 出 新 的 行 之 有 效 的 方法 以 及 富有 推广 实用 价值 的 新 成 果 ， 所 有 这 一 切 都 充分 展现 出 
马 氏 链 理论 的 广阔 应 用 前 景 。 


$1 马尔 科 夫 链 在 经 济 领域 中 的 应 用 


一 个 庞大 而 复杂 的 经 济 系统 一 般 总 会 受到 多 方面 的 不 确定 因素 的 影响 ， 因 此 可 将 它 看 
作为 一 个 随机 系统 ， 而 且 这 种 系统 的 演变 过 程 往往 具有 无 后 效 性 ， 这 样 便 为 利用 马 氏 链 理 
论 对 它 进行 定 基 分 析 提 供 了 客观 基础 。 为 了 控制 经 济 系统 的 行为 朝 着 预定 目标 运转 ， 最 重 
要 的 是 要 根据 实时 观测 资料 对 某 些 刻画 系统 的 关键 定量 指标 进行 统计 分 析 ， 准 确 地 预测 其 
未 来 ， 以 便 我 们 从 多 种 可 供 选 择 的 方案 中 作出 正确 的 或 最 优 的 决策 。 下 面 仅 用 几 个 简单 的 
数字 实例 展示 一 下 经 济 康 测 和 决策 中 的 马 氏 链 方 法 。 

例 10 试 对 4、8 两 家 毛巾 厂 生产 的 同类 产品 的 市 场 销售 趋势 作 一 预测 。 假定 毛巾 的 
平均 使 用 期 为 3 年 , 每 个 厂家 销售 量 的 增 减 主要 取决 于 毛巾 的 质量 。1991 与 1992 两 年 市 场 
需求 销售 调查 如 表 1 所 示 ， 

表 1 毛巾 市 场 需求 销售 调查 表 


顾客 流动 人 数 


原 购 2 三 毛 


由 此 胡可 得 1991 年 选 购 4 厂 或 B 厂 产品 的 绝对 概率 为 
74 = 200/(200 十 300) = 0.4， ps = 300/(200 + 300) = 0.6 
而 1991 年 的 顾客 人 数 转移 频数 及 相应 的 状态 转移 概率 分 别 依 次 为 
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fu 一 160， fas = 20, 
fa 一 40 ， 了 aa 一 280 。 
pu = 160/(160 十 20) = 0. 889, pas = 20/(160 + 20) 一 0. 111， 
pa = 40/(40 十 280) = 0. 125， ?as 一 280/(40 十 280) = 0.875。 
于 是 1991 年 的 绝对 概率 分 布 与 转移 概率 矩阵 依次 为 
4 = [0.4.0.6]， Pp = | 889 0. |. 
0.125 0.875 
完全 类 似 地 由 表 1 可 算得 1992 年 的 绝对 概率 分 布 与 转移 概率 矩阵 依次 为 
0.888 0. ， |. 
0.129 0.871 
比较 Ps 与 Pl: 近似 相等 ,因此 该 系统 可 以 看 作为 一 个 齐 次 马 氏 链 ， 取 初始 分 布 与 转移 概 
率 穹 阵 为 


Lee 一 [0. 434 ,0, 566]， Plgos = | 


4 = [0. 43,0. 57], P 


r0. 89 "1 

Lo0.13 0.87 

计算 4 产 ,， 4s 二 1，2，3， 即 预测 4、8 两 厂 未 来 三 年 的 毛巾 销售 量 ， 表 2 列 出 了 计算 结果 
表 2 预测 三 年 销售 量 表 


油 为 P 中 每 个 元 素 都 是 正 值 ， 所 以 该 有 限 齐 次 马 氏 链 必 有 唯一 的 平稳 分 布 , 求解 
14 = 0.8974 十 0. 13ms 
|- = 0. 11m 十 0. 87ns 
l= 二 ma 
得 ; m4 二 0.54, za 二 0. 46, 即 (0. 54，0. 46) 为 平稳 分 布 。 从 而 4 厂 与 B 厂 的 最 终 毛 巾 销 售 
量 依次 分 别 为 : 
M4 一 500X0.54==- 270( 万 条 )，。 Ms = 二 500 x 0.46 一 230( 方 条 ) 
在 市 场 竞争 中 4 厂 终 于 超过 了 8 厂 。 
在 一 些 经 济 系统 中 ， 随 着 它 的 状态 逐步 转移 ， 常 常 还 伴 有 一 系列 利润 的 转移 。 当 系统 
由 状态 i 经 一 步 转 到 状态 7 时 ， 莫 得 的 利润 记 作 ww， 由 全 体 w，i，JES( 所 有 可 能 状态 之 
集 ) 构 成 的 矩阵 称 为 利润 矩阵 ， 并 记 为 有 = [ri]，r>0 表示 盈 利 ，rs<0 表示 亏损 , 7; 二 0 
表示 不 亏 不 鳃 。 在 经 济 系统 的 演变 进程 中 ， 因 其 状态 的 转移 是 随机 的 ， 故 在 每 一 阶段 获取 
的 利润 也 是 随机 的 ,而 且 利 润 取 值 的 概率 可 由 状态 转移 概率 来 确定 .所 以 预测 系统 经 xz 步 转 
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移 后 获取 的 利润 实际 上 就 是 预测 它 的 期 望 (平均 利润 。 
例 2 某 开 发 公司 每 年 最 多 能 承包 二 项 规模 相同 的 工程 。 根 据 过 去 历年 公司 承包 合 
同 的 统计 资料 分 析 ， 可 得 该 公司 承包 合同 数 的 转移 概率 矩阵 


poo Po poz 0.1 0.3 0.6 
P= jpo pu pol 一 |0.3 0.3 0.41, 
20 Dz: pz 0.3 0.1 0.6 


其 中 ti jE (0, 1, 2) 表示 该 公司 今年 承包 i 项 合同 明年 承包 ;项 合同 的 概率 。 又 与 P 


相应 的 利润 抢 阵 为 
?oo To Toz 
| P11 虽 - 一 10 20 中 (单位 :万 元 ) 
20 P21 Pz 10 40 60 


试 预测 该 公司 经 "年 后 在 工程 承包 中 获取 的 期 望 利润 。 令 广 (a) 表示 公司 今年 承包 i 项 合同 
经 8 年 后 总 的 期 望 利润 ， 又 规定 站 (0) = 0,i 二 0,1,2, 即 设 初 始 利润 为 零 ， 显 然 有 

VC1) 一 DJ Pir V;(2) 一 Dr rs 十 BD parn |= Drs [rs 十 VC1)], 
一 般 有 以 下 递 推 公式 


一 20 10 20 


2 
VO) = DpsLry + Vm D1, n= 1,2,%, (1) 
j=0 
车 记 V(w) = [yoCa) ,Vn) ,Vn) 了 ， 那 么 式 (1) 可 表示 为 矩阵 形式 ;: 
Vn) = V1) 十 PC 一 1)， 1 一 1;2…。 (2) 


利用 此 公式 可 以 预测 该 公司 今后 三 年 的 期 望 利润 如 下 : 
Vel) 二 0.1X (一 20) 十 0.3X10 十 0.6 X20 = 13( 万 元 )， 
区 = 0.3X (一 10) 十 0.3X20 十 04X40 一 19( 万 元 )， 
V1) = 一 0.3X10 十 0.1X40 十 0.6X60 王 43( 万 元 )。 
V(2) = V(1) 十 PY(D) 


13 0.1 0.3 0.6][r13  r45.8 
一 n+ 0.3 0.3 4 io ls (万 元 )。 
43 0.3 0.1 0.61 113 74.6 
(3) = VC(1) + PV (2) 
13 0.1 0.3 0.6145.8 76. 08 
二 |19| 十 10.3 0.3 0.4 区 一 | 76.32| (万 元 )。 
43 0.3 0.1 0.64174.6 106. 08 


在 综合 平衡 国民 经 济 各 部 门 之 间 的 生产 与 分 配 的 联系 上 ， 投 入 产 出 分 析 是 常用 的 数学 
模型 。 为 了 使 模型 能 够 适应 不 断 变化 的 实际 情况 ， 可 以 借助 马 氏 链 理论 实时 修正 原来 的 模 
型 ， 进 而 探讨 经 济 结构 的 最 终 稳 定性 能 。 参 看 下 面 的 例 示 。 

例 350 表 3 是 一 价值 形 投入 产 出 表 。 表 中 列 出 国民 经 济 分 甲 、 乙 两 个 部 门 , 甲 部 门 产 
品 的 总 产值 为 676 亿 元 ， 其 中 用 于 本 部 门 产品 201 亿 元 ， 用 于 乙 部 门 产品 195 亿 元 ， 用 于 
积累 56 亿 元 ， 用 于 消费 224 亿 元 ; 乙 部 门 产品 总 产值 为 312 忆 元 ， 其 中 用 于 甲 部 门 产品 、 
本 部 门 产品 、 积累 和 消费 分 别 依次 为 147、46、23、96 亿 元 。 在 两 个 部 门 产品 的 生产 中 , 甲 
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部 门 产品 需 消 耗 本 部 门 产品 、 乙 部 门 产品 及 折旧 分 别 依 次 为 201、147、162 亿 元 ， 新 创造 
价值 166 亿 元 ; 乙 部 门 产品 需 消耗 甲 部 门 产品 、 本 部 门 产品 及 折旧 分 别 依次 为 195、46、30 
亿 元 ， 新 创造 价值 为 41 亿 元 。 


表 3 价值 形 投 人 产 出 表 (报告 期 单位 : 亿 元 


中 和 间 产品 | 
总 产值 


6 


312 
251 
207 


注 ， 圆 括 导 内 数字 为 直接 消耗 系数 。 

若 以 X, 表示 第 ;部门 的 总 产值 , 以 Xs 表 示 第 ;部 门 消耗 第 ;部 门 的 产品 价值 , 或 者 说 
第 i 部 门 分 配给 第 j 部 门 的 产品 价值 ， 则 称 a = 党 为 第 ;部 门 对 第 i 部 门 的 直接 消耗 系 
数 , 它 表示 第 ;部 门生 产 单位 价值 产品 直接 消耗 第 :部门 的 产品 价值 . 现在 计算 出 投入 产 出 
表 3 的 直接 消耗 系数 矩阵 4，4 的 转 置 矩 阵 4 称 为 比例 系数 矩阵 
0.297 0.217 0.240 0 


Da] 


.625 0.148 0.096 0.131 
.455 0.187 0.358 0 | 
0.668 0.287 0.045 0 
显然 水 是 随机 和 矩阵 .每 当 要 直接 利用 4 进行 预测 或 编制 计划 时 , 必须 考虑 因为 技术 进步 , 经 
济 结构 或 投入 结构 的 变化 而 造成 4 的 相应 变化 ， 是否 需 要 对 4 作 适 当 的 修正 ， 以 保证 预测 
结果 和 编制 计划 的 质量 。 辟 如 根据 观测 资料 经 过 统计 分 析 得 知 : 部 门 甲 的 产品 生产 ， 在 上 
年 度 对 甲 部 门 产 品 的 灌 耗 中 ， 本 年 度 仍 有 90% 消 耗 甲 部 门 的 产品 ， 其 余 的 有 4% 转移 消耗 
乙 部 门 产 品 , 有 2% 和 4% 转 为 由 折旧 和 新 创造 价值 作为 投入 ; 在 上 年 度 对 乙 部 门 产品 的 消 
耗 中 ,本 年 度 仍 有 836% 消耗 乙 部 门 产品 , 其 余 有 9% 转移 消耗 甲 部 门 产品 ， 有 3%% 和 2% 转 
为 由 折旧 和 新 创造 价值 构成 ; 类 似 地 积累 和 消费 两 列 的 变化 分 别 依次 为 70%, 20% ,10%， 
0%， 和 10%，84%，6%，0%， 因 此 得 到 如 下 转移 概率 和 矩阵 

0.9 0.04 0.02 0.04 

0.09 0.86 0.03 0.02 

0.7 0.2 0.1 0 

0.1 0.84 0.06 0 
于 是 本 年 度 的 比例 系数 矩阵 预测 如 下 : 


4 一 


Ds 
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0.479 43 0.453 14 0.051 21 0.016 22 
Mp I-65612 0.28152 0.0344 0.027 96| 
0.676 93 0.250 62 0.050 51 0.021 94 
0.658 53 0.282 54 0.026 47 0.032 46 
若 转移 矩阵 P 不 变 ， 依 此 还 可 预测 两 年 、 三 年 以 及 更 长 时 期 的 直接 消耗 系数 矩阵 ， 从 而 对 
经 济 结构 的 变化 、 中 间 产 品 价值 、 最 终 产品 价值 、 总 产值 等 作出 预测 。 
以 式 (3) 中 的 忆 为 转移 矩阵 的 齐 次 马 氏 链 是 不 可 分 的 非 周期 的 , 必 有 平稳 分 布 z= [mo， 
…，m] 。 解 线性 代数 方程 ; 


4 
nP=7, Dn = 1, 


得 = [0.29,0.61,0.044,0.049] 。 既 然 当 moo 时 户 趋 于 稳 态 ， 那 么 相应 的 直接 消耗 系 
数 矩 阵 也 趋 于 稳 态 ， 从 而 可 预测 经 济 结构 的 稳定 状态 。 

在 准确 预测 的 基础 之 上 便 可 对 多 种 不 同 的 行动 方案 作出 决策 。 在 经 济 问题 的 决策 中 党 
以 期 望 利润 最 高 或 期 望 损失 最 小 等 作为 评价 方案 优 伟 的 指标 。 

例 4 中” 如 例 2 所 述 ,为 了 获取 最 大 的 利 淘 , 经 营 决策 者 可 采取 若干 行动 方案 , 壁 如 当 
公司 没有 承包 到 合同 时 ， 可 以 登 广告 作 宣传 或 进行 业务 联系 ， 争 取 下 一 年 承包 到 合同 的 可 
能 ， 当 仅 承包 到 1 项 合同 时 ， 为 扩大 业务 ， 可 采取 技术 革新 的 方案 。 当 已 承包 有 2 项 合同 
时 ， 为 了 避免 减少 承包 合同 数目 的 可 能 ， 而 采用 维修 设备 、 增 加 工人 福利 等 方案 。 所 有 这 
些 方案 的 实施 都 要 支付 一 定 的 经 费 ， 因 此 期 望 利润 一 般 会 有 所 降低 。 所 以 无 论 采 取 哪 种 行 
动 方案 ， 都 会 造成 支配 承包 合同 过 程 的 概率 和 利润 结构 发 生 相 应 的 改变 ， 那 么 决策 者 究竟 
选择 哪 种 方案 为 好 呢 ? 为 此 可 经 过 以 下 步骤 作出 决策 。 

GD 列 出 行动 方案 表 

决策 者 对 承包 合同 项 数 的 每 种 状态 分 别 采用 表 4 所 列 的 相应 不 同 的 行动 方案 。 


表 4 行动 方案 表 


1. 不 进行 革新 1. 不 维修 设备 ， 不 增加 福利 
2. 进行 革新 2. 维修 设备 ， 增 加 福利 


用 op 与 ry, 二 1,，2 分别 依 次 表示 在 采取 行动 方案 + 之 下 从 状态 i 到 状态 j 的 转移 概 
率 与 所 获得 的 利润 。 当 取 行 动 方案 上 都 为 1 时 ,相应 的 转移 概率 矩阵 与 利润 矩阵 在 例 2 中 已 


给 出 ， 即 依次 为 
poo! po! pozl 0.1 0.3 0.6 To0' To! ro2! 一 20 10 20 
中 Pi | = | 3 0.3 0. 1 ， ru! 7 | 一 - 10 20 a 。 
201 Pz! P22! 0.3 0.1 0.6 201 321 22 10 40 60 


当 取 行动 方案 上 都 为 2 时 ， 相 应 的 转移 概率 矩阵 与 利润 矩阵 由 该 公司 根据 以 往 资料 进行 统 

计 分 析 得 到 

poo po: po 0.05 0.15 0.8 7o02 ro: 7022 一 22 8 16 

2 | 一 1 0.2 07|， 区 ri? | 一 - 12 18 | 。 
2 2 ? 0.1 0.2 0.7 202 P22 7222 8 36 55. 


20 P21 222 


200 马尔 科 夫 链 基 础 及 其 应 用 


于 是 按照 在 各 种 行动 方案 上 之 下 的 明年 期 望 利润 公式 : 
“00) = Dm, i= 0,1,2， 上 二 1,2， C4) 


将 有 关 数 什 分 别 代入 计算 ， 即 得 表 5 所 列 的 结果 。 
表 5 明年 期 望 利润 表 


0.1 0.3 0.6 
0. 05 0.15 0.8 


1. 不 进行 革新 
2, 进行 革新 


1. 不 维修 设备 ,不 增加 福利 
2. 维修 设备 ， 增 加 福利 


(ii) 进行 决策 

现在 寻求 今后 r 个 年 内 获取 最 大 利润 的 决策 。 显 然 今后 4 年 内 的 总 期 望 利润 是 # 的 消 
数 。 

记 几 CO = 0,1,2, 二 1,2,…,n 是 第 /年 承包 合同 项 数 为 i 的 决策 。 当 有 0) 对 一 切 外 
/的 值 都 已 确定 时 , 那么 在 这 ;年 内 的 策略 也 就 被 确定 。 相对 于 给 定 的 i 与 ,使 总 期 望 利润 
达到 最 大 的 策略 称 为 最 优 决策 。 

记 Vi" Gi 二 0,1,2,4 二 1,2,… 为 从 状态 i 开始 ,经 过 5 年 并 使 用 最 优 决策 的 总 期 望 
利润 。 于 是 有 

让 一 ma +1] i=0,1,2,， n= 1,2,.…。 (5) 
自然 可 假定 初始 期 望 利润 为 罕 ， 即 六 "0 一 0 一 0,1,2。 由 此 , 利用 已 给 的 数据 便 可 递 推 
地 求 出 中 (OO 一 0,1, 2 一 1, 2 、 县 体 计 算 如 下 : 
Ve (1) = max{ Dpo;’ rT07!， Dp ro 一 max(13.0,12.9) = 13. 0， 
所 以 go 人 1) 一 1。 
Vr (1) = maxl Dp rj» 之 17 ri 一 max(19,27.6) 一 27.6， 
所 以 wa (1) = 2。 
Vi (1) = max| Dp 72j!， > pas rs] = max(43,46. 5) = 46.5， 
所 以 di(1) 二 2 
进一步 再 按 公 式 ， 
V*(2) = max| Dy ps rs 十 Vj;* (1)], > ps [rs 十 V,* (1)1) ， i 二 0,1,2， 


j=0 j=0 


ed 
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计算 得 


yo" (2) = max(50. 48,54. 89) = 54.89, 故 由 (2) = 2。 
VY." (2) = max(49,78,66.97) -= 66.97, 故 dk2) 一 2。 
yj" (2) = max(77. 56,85. 87) = 85. 87, 故 (2) = 2。 
类 似 地 可 以 递 推算 出 (3 ,403) ,diC3),…， 、 汇 总 数字 结果 于 表 6 中 。 
表 6 总 期 望 利 润 及 其 策略 表 


134. 001 ?7 
146, 210 4 
165. 101 4 


106. 592 
125. 492 


由 表 6 可知: 如 果 今 年 该 公司 没有 承包 到 工程 ， 那么 经 过 4 年 后 ， 在 此 期 间 可 获得 的 
最 大 利润 是 134 万 元 ， 其 最 优 策 略 是 登 广告 。 其 它 情 形 可 作 类 似 的 解释 。 例 4 介绍 的 方法 
其 实 就 是 霍华德 (Howard) 提出 的 马尔 科 夫 序 贯 决策 的 选 代 优 化 法 "2 

例 5 某 公司 经 管 机 构 由 经 理 六、 与 副 经 理 上 经 理 秘 书 好 , 与 副 经 理 秘 书 / 四 人 组 成 ， 
治 谈 生意 仅 由 一 位 成 员 接 待 ， 该 成 员 可 以 独自 执行 这 项 任务 ， 也 可 把 它 转 给 男 一 位 成 员 处 
理 ， 甚 至 还 可 能 将 此 任务 放 在 一 边 水 不 执行 。 现 在 把 完成 任务 与 将 任务 放 在 一 边 永 不 执行 
依次 分 别 看 作为 两 个 吸收 状态 。 和 5 将 四 位 成 员 M 、、 NL,、V, 看 作为 四 个 非 吸 收 状态 , 根 
据 这 四 人 日 常 工作 的 规律 ， 经 理 喜 欢 把 项 目 分 转 给 他 的 秘书 或 副 经 理 。 副 经 理 习 惯 于 把 他 
收 到 的 项 目的 3/4 转 给 他 的 秘书 ， 剩 下 的 由 他 亲自 完成 或 放 在 一 边 。 每 个 秘书 自己 完成 收 
到 项 目的 3/8， 放 在 一 边 的 占 1/8, 其 余 的 一 半 送 给 私 一 秘书 ,一 半 还 给 他 的 经 理 ， 以 获取 
进一步 指示 。 可 借助 转移 概率 矩阵 P 来 描绘 以 上 所 述 的 规律 ,容易 写 出 P 及 其 子 和 矩阵 ,8 
如 下 ， 


a b A 了 Ry 了 
a 1 0 0 0 0 0 a b 
0 1 0 0 0 0 MT 0 
MO0 0 0 W212 ) mo! 11/3 1/8| 
y 1/8 1/8 0 0 0 30 M, lo 1/8! 
Ml3/8 1/8 1/4 0 0 1/4 /3/8 1/8 
y, l3/g8 1/8 0 1/4 1/4 | 
M 7 M, V, 
MrO 1/2 1/2 0 
Vv |0 0 0 gd 
Tl 0 0 bd 


V,.0 1/4 1/4 0 J 
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由 此 经 计算 可 得 
到 FM 
MrI2 08 0.8 0.8 1] M13.6 
dr 10.075 1.3 0.3 1.05 do | - 12.725 
对 ,| 0. 325 0.3 1.3 0.55 上 M,|2. 475 
7。L0.1 0.4 0.4 开 1 IJ 记忆 .3 
a 6 
MrO.7 0.3 
Vv |0.67 0.33 


(一 @)- 坟 一 (6) 


M,10.73 0.27 

y, [0.725 0.275 
南开 , 定理 3 与 由 . 定理 4 知 (1 一 0) 了 [i141] 与 一 9 一 下 分 别 依次 表示 从 状态 M、 
或 VY、 或 M,、 或 VW 出 发 平均 吸收 时 间 与 吸收 概率 。 在 与 公司 商谈 交易 时 ， 式 (6) 中 所 给 
出 的 具体 数值 能 够 帮助 我 们 作出 决策 。 璧 如 最 好 选择 与 经 理 秘 书 接 治 ， 因 为 相 比 之 下 在 他 
手 上 生意 被 搁置 一 边 的 概率 《0. 27) 最 小 。 最 好 不 要 与 副 经 理 接 治 ， 因 为 相 比 之 下 在 他 手 
上 完成 交易 的 可 能 性 (0, 67) 最 小 。 上 有 具体 经 办 时 最 好 交 给 副 经 理 秘 书 办 理 ， 因 为 相 比 之 下 
他 完成 此 任务 所 需 的 平均 时 间 最 短 ， 若 交 给 经 理 办 理 那 是 最 缓慢 的 
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在 生命 科学 中 所 外 到 的 现象 一 般 是 受到 遗传 因素 、 生 存 环境 等 许多 不 确定 因素 影响 的 
相当 复杂 的 随机 现象 。 无 论 是 群体 增长 、 人 群体 迁移 、 对 抗 群 体 之 间 的 生存 竞争 、 和 群体 中 传 
染病 流行 、 种 群 灭 绝 等 宏观 或 外 到 的 现象 ， 还 是 遗传 基因 的 变异 、 细 菌 繁殖 、 辐 射 对 生物 
体 的 效应 等 微观 或 内 在 的 现象 都 是 如 此 。 在 建立 近似 描述 这 些 生 命 现象 的 数学 模型 中 ， 在 
帮助 人 们 定量 分 析 这 类 现象 或 认识 理解 其 生理 机 制 方面 ， 马 氏 链 理论 起 到 了 重要 的 工具 作 
用 。 

例 6 《分 支 过 程 -群体 增长 或 消亡 模型 ) 现在 来 建立 描述 一 种 群体 繁殖 增长 或 消亡 减 
少 的 随机 数学 模型 ,以 Xo 表示 开始 群体 所 含 个 体 的 个 数 ， 称 作 第 零 代 的 个 体 数 。 第 零 代 的 
后 代为 第 一 代 ， 第 一 代 的 个 体 数 记 为 X,, 依 此 类 推 , 第 代 是 第 * 一 1 代 的 后 代 , 第 x 代 的 
个 体 数 记 为 X,。 假 定 无 论 哪 一 代 中 的 每 一 个 体 所 产生 后 代 的 个 数 都 是 服从 同一 分 布 的 随机 
变量 4s， 共 同 分 布 记 作 

P(S =h) 一 9 k=0,1,2,., 《7) 
又 假定 同一 代 中 各 个 个 体 所 产生 的 后 代 个 数 是 相互 独立 的 随机 变量 ， 而 且 它们 与 群体 以 前 
的 繁殖 或 消亡 过 程 也 是 相 专 独立 的 。 第 a 一 1 代 产 生 了 第 * 代 之 后 便 自 行 消亡 。( 7” 
X,，…} 描述 了 这 种 群体 的 繁殖 或 消亡 过 程 。 下 面 将 给 出 该 模型 的 严格 数学 定义 。 

设 (0 ,n,m 三 1,2,…) 是 相互 独立 的 具有 共同 分 布 (7) 的 取 非 负 整 数 为 值 的 随机 变量 
族 , Xo 是 与 {89a,m 二 1,2,…} 相互 独立 的 取 非 负 整 数 为 值 的 随机 变量 , 对 任何 正 整数 "， 
八 


“* 
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1 十 名 填写 二 和， 当 总 
10， 当 X= 0, 
则 称 (xn 一 0,1,…)} 为 离散 参数 的 分 支 过 程 。 
由 假设 条 件 知 : 如 果 已 知 X-! = i> 1 ， 由 式 (8)，X, 的 分 布 是 i 个 相互 独立 的 同 分 
布 随 机 变量 之 和 的 分 布 ， 即 被 完全 确定 ， 实 际 上 这 时 X, = 5 多 十 一 十 5 与 Xo, 类 ~ 
一 外 相互 独立 。 如 果 已 知 X,-1 = 0, 由 式 (8) X, 二 0。 总 之 X, 的 分 布 只 与 X,-: 的 取 值 有 关 ， 
在 给 定 X.-! 的 取 值 之 下 ; X, 与 Xe，…，X :独立 ， 所 以 {Xn 二 0,1,…) 是 一 状态 空间 8 
为 10,1,…) 的 离散 参数 马 氏 链 ， 而 且 “0” 是 吸收 状态 
进而 借助 概率 分 布 的 母 函 数 这 一 工具 来 寻求 分 支 过 程 的 转移 概率 及 灭绝 概率 沁 0(2) 
为 式 《7) 分 布 的 母 函 数 ， 即 


(8) 


G(#) = Dj *9) 


ham 


车 分 支 过 程 {Xn 一 0,1， “} 的 n 步 转移 概率 为 py 区 € Sn 一 | ,2,°**) ’ 记分 布 {ph , 
E 3)} 的 母 函 数 为 


Falz) = Spz, iE SNn= 1,2,.。 《10) 
he 
如 果 Xo=i, 那么 (总 中 E 5S} 就 是 X, 的 分 布 ， 故 本 (2 就 是 X, 的 母 函数 。 特别 地 记 Po(z) 
= D122。 


一 人 

定理 1 设 iX,,n 二 0,1,."} 是 分 支 过 程 ,Xs = i 之 1,0(2) PC2) 如 式 (7)、 (9)、 
《10) 所 定义 , 记 刀 一 8 人 一 DY 一 TCD 一 (十 CD 一 (CD 和 还 记 CO Cs) 
二 G(GC…G(z))…) ， 则 有 

人 


a 次 
(GD 对 ?ES 一 (0) ， 

F(z2) 一 e000) = [GV (a Yn = 12 (11D) 
特别 地 有 Fs) = (GP, Fala) = 由》 = OM(2), Fari(z) 
= Ce+D(z) = O02)) = OF (2)) ,7n = 1 ,2,* 

《ii =i iS {0}, (12) 


《iii) 对 ?1 一] 2， 9 


[EE 当 4 关 1 


Rk (13) 
Tl 9 当 / 一 1。 
特别 地 of=iv?。 
证 ”利用 随机 多 个 相互 独立 的 随机 变量 之 和 的 母 施 数 的 性 质 ， 击 分 支 过 程 的 定义 与 式 
(8) ， 以 及 在 Xe= 1 的 条 件 下 X, 的 母 函 数 为 ms(Cz) ,6 的 母 函 数 为 GC(z) ， 从 而 有 
Fi 人 2 = Fy 02)) = F-20002))) = ot 
= Fo(0G™ (2)) = GM (2), (14) 
一 般 地 在 X= 二 1 时 ，X, 便 是 i 个 第 零 代 个 体 各 自 衍生 的 第 4 代 个 体 之 和 , 按照 假定 
这 ?个 第 零 代 个 体 的 繁殖 增长 或 消亡 减少 是 相互 独立 的 。 再 利用 有 限 多 个 相互 独立 的 随机 
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变量 之 和 的 母 函 数 的 性 质 及 式 (14) 便 得 
(zy = [LRAT = [G2)Y. 
由 此 
Fi O02)) = [OD (GC = [0 (02) 
故 式 (11) 成 立 ，kD 得 证 。 
因为 非 负 整 值 随机 变量 的 数学 期 望 等 于 它 的 母 函 数 在 上 处 的 导数 值 , 于 是 由 式 〈il) 及 
0G(1)= 二 1 有 
= 1) = [ha (GC2) Y= P02)) | smiG (1) 
= Fa (DO (1) = Fz) (G01))? = 
= FCCOD = OD = ip。 
式 (12) 成 立 ，(i) 得 证 。 
因为 韭 负 整 值 随机 变量 的 方差 可 用 它 的 母 函 数 在 1 处 的 一 阶 和 二 阶 导数 值 表示 为 
= DX, = FC) + (1) — (FP, (1)):, 
经 过 对 式 (11) 的 求 导 运算 可 得 递 推 关系 式 ， 
FD = FDR+ilo — 4 pe 
由 此 作 递 推 计算 ， 并 将 结果 代入 到 的 表达 式 中 可 算得 式 〈13)?， 详 细 的 推导 见 文献 [6]。 
注 “由 定理 1 中 的 式 (10 知 ; 理论 上 分 支 过 程 的 任意 步 转移 概率 由 C (2) 所 确定 。 然 
而 真 要 由 此 来 算出 叭 ; 的 明显 表达 式 是 较 困难 的 。 利 用 式 (12) 及 式 (13) 计算 X, 的 期 户 
与 方差 是 容易 的 ， 也 是 实用 的 。 
显而易见 ， 若 式 (7) 中 之 go 二 1， 则 以 概率 1 有 六, 二 0, 二 1，2，…， 这 是 毫 无 意义 
的 , 若 mw=0 这 表示 每 个 个 体 至 少 于 产生 一 个 后 代 ,， 如果 又 0 一 !， 那 么 群体 所 会 个 体 总 数 
每 一 代 都 始终 保持 定 值 不 变 ， 这 是 一 种 平凡 情形 。 若 wm=4 且 9%<1， 那 么 第 一 代 至 第 z 代 
中 每 个 个 体 始 终 只 产生 一 个 后 代 的 概率 由 随 着 "一 o2 而 趋 于 零 。 因 此 群体 中 个 体 的 总 数 只 
增 不 减 将 趋 于 无 穷 。 因 此 以 后 总 假设 0 一 ge<<1。 这 时 由 式 (9)、 式 (10) 与 式 (11) 知 ; 对 
任何 iE83 一 10 有 
po = Fat0) 一 [fc(0) 下 一 外 人 > 0。 
这 表明 i->0, 但 是 0 是 吸收 状态 , 故 Oi, 即 E 5 一 10}) 是 非 本 质 状态 ,于 是 自然 要 问 相 
应 的 分 支 过 程 从 状态 iC 尖 0) 出 发 被 唯一 的 吸收 状态 0 吸收 的 概率 fw 是 多 少 , 换 言 之 , 即 要 
求 开始 含有 i 个 个 体 的 群体 迟早 要 灭绝 的 概率 ,为 保护 这 种 群体 这 当然 是 人 们 最 关心 的 间 
题 。 
对 分 支 过 程 (X,， wn 二 0，]，…) ,既然 0 是 吸收 状态 ,那么 必 有 {X,=0} C (+ 一 0) ， 
在 X 一 ;六 1 的 初始 条 件 下 , 7 和 一 P(x 一 0) 是 4 的 单调 不 碱 函 数 ,而 且 内) 一 PCX, 一 01X。 
二 习 表示 开始 群体 所 含 个 体 数 为 ;的 条 件 下 在 第 4 代 之 前 群体 灭绝 的 概率 ， 因 叱 该 群体 迟 
早 要 灭绝 的 概率 为 


oo= limy = limP(X, = OIE SO— {0}., (15) 
由 式 (10) 与 式 (11), 对 i€E5S 一 {0} 有 
pl = fF.(0) = CFR.O)’ 一 ( p10 ) 5 n= 1,2,."。 (16) 


于 是 从 式 (15) 与 式 (16) 得 
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fa 一 lim ?8 一 lim (pf ) 一 《limz 和 7 = (fo)，iES 一 (0)， (17) 
因此 为 了 寻求 jo。， 只 要 求 得 fio 就 足够 了 。 

定理 2 设 {Xn 一 0,1,…} 是 分 支 过 程 ， Xo = 1,0(z) 是 式 (9) 所 定义 的 颇 级 数 ， 由 

宕 级 数 运算 性 质 , C(z) 在 [0,1) 上 有 连续 的 导 函 数 GC2) ， 设 4 二 60) = lim G (z) = 


2 ty4,， 则 对 分 支 过 程 的 灭绝 概率 fo 有 


hmm0 
(DD) Jo 一 CCfo) 。 (18) 
(ii) 当 ps 1，9<1 时 ， 必 有 fo 一 1。 
(iii) 当 1<wpsce 时 , fw 是 z= 二 G(x) 在 [0,1) 内 的 唯一 解 。 
证 在 X=1 的 假定 下 ，X, 的 母 函数 为 F(z) , 而 Xi 的 母 函 数 Fi1(z) = 0(z) ， 并 注 
意 到 式 〈16)， 便 有 
py = yg = 0(0), 


1 一 PCOX = 0X=1) = DPX =E, X= 0X = 1) 


k==0 
= Dig = Do) = Gp ), (19) 
Lam t=0 
在 式 《19) 两 边 ， 令 mn 一 ceo、 由 6《2) 的 连续 性 得 
fo = lim phd = lim Gp ) = GOim 7? 各) = 0(f10), 


故 式 (18) 成 立 ，(i 得 证 。 


现在 证 Gi), 首先 设 x1, go 十 gn 过 1, 那么 由 Ln=1, 知 {gisk 二 2,3,…*} 中 至 少 有 一 
者 为 正 值 ， 因 此 
G(z) = > 8 mr 


在 区 间 [0,1) 上 必 是 严格 单调 上 升 的 函数 。 又 由 假设 X= 0(1) = lim 0 (z)， 所 以 有 
i>), z€ [0,1), (20) 
倘若 fw 二 1， 利 用 中 值 定理 及 式 (18)， 必 存在 CE (fw,1) 使 


CC 一 CC 1~fio _: 
CC 一 一 人 “21) 


于 是 从 式 (20) 与 式 (21) 可 得 4 之 GCe) = 1 ， 这 与 假设 1 志 1 牙 逢 , 才 f=1。 
再 设 Ly 和 1, go 十 gy 二 1, 而 9g<1 时 , 那么 gg 二 二 0， 由 式 (9) 及 式 (11) 之 特例 便 


有 
CC0) = 90， F.C0) 一 CC0) 一 go， Fi2(0) 一 G00)) 一 G{ go) 三 go(l 十 g1)。 
1 
Pits0) = OF) = gl + 9+ +9) = “二 全， n= 1,2,. 
1 
故 fo 一 limnzfrD 一 lim F.C0) 
一 ji 1 一 git! g0 _ 
= lim go 1 一 9 1 一 9 | 1 。 


最 后 两 等 号 成 立 是 因为 gw<1，y 十 mi 一 1。(ii) 得 证 。 
最 后 证 〈iii) 。 设 1< 4 委 sce， 既 然 4= G01) = gi 十 29s 十 393 十 … ， 倘 若 m 十 9 一 1， 
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那么 gq 二 gs 三 "== 0， 从 而 4 一 9 魏 9o 十 9: 一 1， 这 与 p>1 的 假设 矛 拷 ， 故 必 有 go gl 从 
而 如 前 面 已 论证 的 8 (z) 是 [0,1) 上 严格 单调 上 升 的 函数 。 再 由 假设 lim Caz) 一 4> 1 便 
知 :存在 6<<1 使 得 GC2) 之 1。 对 任何 zE€ ,1) ,利用 中 值 定理 必 存 在 c, 使 得 bp<z<e<< 1 
， 且 


EH Ge) > G60)> 1 。 
因为 G6(1) ==1， 所 以 由 上 式 便 得 
O02) <z, =E ,1), (22) 


在 所 给 的 假设 条 件 下 , G(z) 是 z 的 严格 单调 上 升 函 数 , 于 是 由 式 (22) 知 : 对 任何 x€ (32,1) 
有 
2> G2) > (6) > > 002)) = G+D (2), 
在 上 式 中 令 z=b 十 0， 利 用 G6(z) 从 而 G6*+?(z) 的 连续 性 及 式 (14) 得 
6 之 Ce+DkCbD) 一 Fis+1(b)o 
再 由 GCz2) 从 而 Ce+D(z) = 下 ,ri(z) 的 严格 单调 上 升 性 ， 有 
fi 一 lim Fis+1(0) 魏 lim sup Fatlb<1, 

在 (i) 中 已 证 明了 fo 一 GCf10) » 因此 fw 是 2 = 0{2) 在 [0,1) 内 的 一 个 解 。 

再 证 fo 是 z= C(z) 在 [0,1) 内 的 唯一 解 ， 倘若 刀 、ww 是 z= 二 6(x) 在 [0,1) 内 的 两 个 不 
同 解 。 不 妨 设 0 志 a 过 wz 过 1， 利 用 中 值 定理 必 存 在 zs1 € 《wi,uz) ,zz € (uz，1) 使 得 


Gu,) — Glu) 2 一 


{7 (21) = 一 1， 
22 Ul 2 ul 
HN CCC) — Ou2) 1 -一 如 _ 
人 (za ) 一 一 如 一 Tl 


所 以 C (zw) = 二 CCz) 。 然 而 0 过 #1 之 及 之 1， 又 已 知 6C2) 在 [0,1) 内 是 严格 单调 上 升 的 ， 这 
便 导 至 矛盾 ， 即 z = C(z) 在 [0，1) 内 不 可 能 有 两 个 不 同 解 。 定 理 证 完 。 
注 1 由 式 (12)， 当 Xo 王 1， 必 1 时 ， 有 
lim EX, = lim 太一 oo。 

这 表示 群体 中 的 个 体 数 随 着 逐 代 繁 衍 将 趋 于 无 穷 ， 这 时 灭绝 概率 fo 当然 不 可 能 为 1， 因 此 
41 是 fw 二 1 的 必要 条 件 。 又 当 91=1 时 ,此 群体 以 概率 1 将 永远 只 含 一 个 个 体 ， 当 然 这 
时 fw 二 0, 故 gj 过 1 也 是 fio 二 1 的 必要 条 件 ， 于 是 结合 定理 2 之 0) 知 : pw 和 1 且 0<1 是 
fu 三 1 即 群 体 必定 灭绝 的 充 要 条 件 。 因 此 当 pi>>T 时 ， 必 有 Jo<1。 

注 2 已 知 0 是 吸引 状态 , 如 果 go 守 0, Xo==j 宇 1, 那么 分 支 过 程 从 状态 7 出 发 返回 5 的 
概率 至 少 要 小 于 或 等 于 1 一 9%<1, 故 LE 5 一 (0)) 是 非常 返 状 态 。 再 由 定理 1 知 lim 
pz 一 0，i€ES， 这 表示 在 ”一 co 时 群体 所 合 个 体 数 为 任 一 正 整数 7 的 概率 织 为 零 。 既然 已 知 
在 X=i 宇 1 的 条 件 下 群体 迟早 要 灭绝 的 概率 是 (fw)， 那 么 群体 的 个 体 数 必 以 概率 
1 一 《fio)' 趋向 无 穷 。 因 此 当 pi>1 时 ,从 而 保证 fo<1, 如果 Jo>>0, 而且;i 很 大 ,那么 (fi) 
很 小 , 1 一 《fw) ' 近似 于 1， 群 体 的 个 体 数 将 以 近 于 1 的 概率 趋向 无 穷 。 

例 7 (传染 病 流 行 模型 ) 现在 要 对 一 种 比较 温和 的 如 上 呼吸 道 疾病 在 一 个 有 限 群 体 中 
传染 流行 的 过 程 建立 适当 的 数学 模型 。 假 定 受 传染 的 个 体 并 不 通过 隔离 、 复 原 或 死亡 而 从 
群体 中 排除 , 并 且 群 体 是 均匀 混合 的 。 设 群体 所 含 个 体 数 为 4 十 1。 令 X(t 之 中) 表示 于 时 刻 
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1 在 该 群体 中 可 感染 的 个 体 数 ,当然 X, 是 一 随机 变量 。 又 令 Xo==n, 这 表示 在 传染 开始 时 群 
体 中 只 有 一 个 个 体 已 被 感染 。 记 pjGQ) = POX 一 站,j 一 0,1,",n,t 之 0。 在 X= 二 ;之 下 群 
体 在 时 间 区 间 (t,t 十 40 内 将 发 生 一 个 新 的 传染 病例 的 概率 令 为 xj(n 一 j 十 D4 十 0(40)， 
其 中 4 是 一 正常 数 。 由 于 X, 的 取 值 只 能 随时 间 的 推移 而 逐渐 减 小 ， 因 此 该 模型 {X,,t 之 0} 
实际 上 是 一 个 具有 有 限 多 个 状态 的 纯 灭 过 程 ， 消 亡 率 坟 二 pj(n 一 j 十 1)。 
在 上 述 假定 下 ， 利 用 关于 纯 灭 过 程 的 柯 氏 向 前 微分 方程 组 ， 可 得 

B= G+ DG Np 一 一 十 DCD，7 一 0 1 一 | 

及 (Ci 一 一 22 人 (bt)。 
而 且 方 程 组 (23) 的 初始 条 件 应 为 


(23) 


1， 
Zi(0) = oo (24) 
0， 其 它 。 


文献 [43] 利用 拉 普 拉 斯 (Laplace) 变换 与 送 变 换 得 到 下 面 的 结果 : 当 ，” 是 偶 正 整数 ， 且 
j > 王 时 ， 有 


[ok 


pj(t) 一 > ai exp[— i(n Ci 二 + 1)4， 1 之 0。 (25) 


其 中 
jG— DiGm mi mj;—++ 1)! 


当 为 偶 正 整数 ， 且 0<j< 立 时 ， 有 


,= 一 1102 一) 十 1。 (26) 


/2 a/2 
pt) = Dyanexp[— iCa mi 1)t]+ Dhst exp[— iln— it i] i> 0 
i 一 


(27) 
a/2 #/2 
za(D 二 1 十 lavexp[ 一 in 一 ;十 让 十 put exp[ 一 iln 一 i 十 1 ，t 之 0。 


i 二 j 


(28) 
其 中 ， 当 i 过 j 时 qj 由 式 (26) 给 出 ， 当 这 时，oi 由 下 式 给 出 ， 
(一 TD 一 二 Dale 一 
”NG DIG—Dm -jit DIG— ND! 
1 a 一 i 二 1 
3 -2 
x [S++ > 1 iT (C29) 


在 式 (29) 中 ， 当 j==1 时 第 一 和 式 不 存在 ， 当 j= 万 时 第 二 和 式 不 存在 。 式 (27) 与 式 (28) 
中 的 ph; 由 下 式 给 出 : 
(— 1)itiCn — 2i+ ln1(n -— ))! 


BV Da ir Did 
当 为 奇 正 整数 时 也 可 推 得 相应 的 表达 式 。 
此 外 ， 利 用 母 函数 、 拉 普 拉 斯 变换 ， 经 过 繁 元 的 分 析 与 代数 运算 ， 可 以 求 得 在 已 知 传 
染病 流行 开始 时 群体 中 恰 有 个 可 感染 个 体 的 条 件 下 ， 确 定 1 时 刻 群体 中 可 感染 个 体 数 的 
期 望 数 4 = 二 CX) 之 公式 如 下 ， 当 为 偶 正 整数 时 ， 


(30) 
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/2 
3 nt 


4 一 2 [io 一 5+D:+2 一 一 2 二 DY 


A 


x exp[— jC— jj 十 DO, ;> 0。 (31) 
当 为 奇 正 整数 时 ， 


《a 十 1)172 _ 
Wa _ 9 。 A 1 
Gr x [tr — 2j+ D+2— (~ 2j+1) Dr! 


j=l Am 


X exp[ 一 jl 一 j 了 十 1) 引 十 


上 一 


A! 
{[ 全 一 D] 
公式 (25) 一 (32) 的 详细 推导 与 论述 参见 文献 【43]。 对 于 上 述 简单 的 传染 病 流 行 模型 文献 
[17] 还 讨论 了 群体 中 直到 第 六 个 受 感 染 个 体 出 现 所 需 的 时 间 Tl 二 mn 二 # 十 1) 这 样 一 个 
有 实际 意义 的 随机 变量 。 显然 7 二 0, 而 2+: 就 是 群体 中 直到 最 后 一 个 个 体 被 感染 所 需 的 时 
间 ， 即 所 谓 一 次 流行 期 ,文献 [17] 给 出 了 7T。(1 声 m 志 nn 十 1) 的 密度 函数 、 分 布 函 数 ， 以 
及 7。 的 期 望 与 方差 ， 本 书 不 再 列 出 。 

例 8 〈 遗 传 基因 模型 ) 遗传 性 质 的 携带 者 称 为 基 因 ,基因 是 成 对 出 现 的 。 一 般 地 , 一 
对 中 的 每 个 基因 可 以 取 两 种 不 同形 式 〈 等 位 基因 ) 4 和 a。 在 一 个 总 体 中 基因 4 和 < 的 比例 
是 基因 频率 ， 相 应 地 记 为 ? 积 9 王 1 一 ?z。 两 种 等 位 基因 可 形成 三 个 基因 型 : 44、Aha, aoa (4a 
和 a4 无 区 别 )。 一 个 后 商 分 别 都 以 地 的 概率 接受 父亲 的 两 个 基因 中 的 任何 一 个 ， 接 受 母亲 
的 两 个 基因 中 的 任何 一 个 , 形成 一 对 , 这 样 交配 如 X 如 产生 基因 型 44、Aa、oa 的 概率 分 别 
依次 为 1/4、1/2、1/4, 交配 44X 血 产生 基因 型 44 和 如 的 概率 同 为 1/2， 交 配 44X 44 必 
产生 基因 狼 44。 

在 人 类 群体 中 的 配偶 一 般 是 随机 形成 的 ， 还 可 看 作 是 互相 独立 的 ， 在 这 种 随机 交配 下 
的 后 代 的 基因 型 自然 是 随机 选择 的 ， 一 对 基因 可 以 从 {4,a} X {4,a} 中 有 2: 种 方式 选择 成 
对 ， 而 一 个 基因 型 可 以 从 {44,4a,aa} X {44,ha,aa} 中 有 3: 种 方式 选择 基因 型 。 如 果 被 考 
查 的 某 群 体 中 男性 和 女性 具有 相同 的 基因 型 频率 分 布 : 44: ha : aa=d : 2h :7，d 十 2h 十 7 
= 王 1，4 和 “的 基因 频率 为 ?= 十 和 4 一 Ar>。 那 么 在 随机 交配 下 ， 一 个 后 裔 具有 4 基因 的 
概率 为 p， 而 具有 基因 型 44，4 如 ，eu 的 概率 分 别 依次 为 严 ，2z ， 到 。 

基因 是 位 于 遗传 的 要 素 染 色 体 上 的 ， 染 色 体 上 一 个 基因 的 位 置 叫 租 一 个 位 点 。 现 在 应 
用 马 氏 链 来 描述 一 个 给 定位 点 上 的 遗传 过 程 。 分 别 依 次 用 1，2，3 表示 44， 如 ， 三 种 基 
因 型 , 并 用 bp 表示 在 给 定 一 个 上 代 ( 父 或 母 ) 的 基因 型 为 的 条 件 下 后 高 出 现 的 基因 型 为 7 
的 条 件 概 率 ， 现 以 一 对 母子 为 例 作 一 解释 。 设 

Py 二 P( 孩 子 具 有 基因 型 ;| 母亲 具有 基因 型 站，i,j = 1,2,3， (33) 
那么 pa 就 是 基因 型 如 的 母亲 生产 一 个 基因 型 44 的 孩子 的 条 件 概率 。 即 《孩子 具有 基因 
型 44| 母亲 具 有 基因 型 44), 为 了 使 该 子 具 有 基因 型 44, 他 必须 从 其 母亲 处 以 1/2 的 概率 继 
承 一 个 4 基因， 并 同时 (通过 其 父亲 ) 从 男性 群体 中 以 概率 p 得 到 另 一 个 4 基因 。 因 此 pz 
一 ?2。 类 似 地 可 算得 其 它 的 p;，i;，j 二 1，2，3。 从 而 有 转移 概率 矩阵 


7 4 0 
P= |p/2 1/2 ¢q/2 
.0 了 人 


。 《314) 


t > 0。 (32) 
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值得 注意 的 是 : 式 (33) 中 的 ay 是 作为 给 定 上 代 特定 成 员 有 基因 型 i 时 下 一 代 个 体 有 天 
因 型 ; 的 条 件 概率 ， 可 以 验证 此 py 也 恰好 等 于 给 定 下 一 代 特定 成 员 有 基因 型 i 时 上 代 具 有 
基因 型 ;的 条 件 概率 。 恬 如 验算 概率 

P( 母 宁 具 有 基因 型 44| 其 孩子 具有 基因 型 4o) 。 (35) 
孩子 从 其 母亲 处 各 以 1/2 概率 继承 基因 4 或 a, 若 孩子 从 母亲 处 继承 的 是 4 基因, 那么 母亲 
必 含 有 一 个 4 基因， 而 其 母 要 具有 的 另 一 个 4 基因 的 概率 为 z。 若 孩子 从 母亲 处 继承 的 是 4 
基因 , 显然 母亲 具有 基因 型 44 的 概率 为 零 , 因此 式 (35) 的 概率 为 村 ?十 二 0 一 二 ,恰好 与 前 
面 的 m 相 等 。 其它 的 ps 同样 能 够 验证 。 所 以 在 遗传 学 研究 中 ， 当 人 们 要 从 子 代 的 信息 去 推 
断 上 一 代 的 基因 型 时 ， 式 (34) 中 的 是 很 有 用 的 。 

由 式 (34) 可 算得 二 步 转移 概率 和 阵 


1 1 
2 一 ee 一 
2 十 了 2 2 十 39 79 


P? = [p92] = Fr 十 本 9 十 二 iq 十 本 全 | 。 (36) 
2 多 
譬如 其 中 的 p23 为 
P (孙子 具有 基因 型 oa| 祖父 具有 基因 型 4a) 
二 p 绍 = (祖父 具有 基因 型 aa| 孙子 具有 基因 型 如 )。 (37) 


由 C -~K 方程 p= pups 如 果 将 其 中 的 ps 用 式 《35) 的 方式 解释 ,而 pj 按 式 《33) 的 方 
式 来 解释 , 那么 此 好? 就 可 理解 为 在 已 知 某 人 的 同 母 异 父兄 弟 的 基因 型 为 上 的 杀 件 下 此 人 县 
有 基因 型 为 了 的 条 件 概率 。 
式 (37) 所 表达 般 ?. 沦 还 可 推广 到 任何 正 整数 4 的 情形 ， 即 对 任何 4==1，2,…， 任何 
i,，j 有 
29 二 PC 一 个 人 具有 基因 型 让 其 a 代 祖 先 具 有 基因 型 让 


二 P( 一 个 人 具有 基因 型 诈 其 4 代 后 背 具 有 基因 型 说 。 (38) 
利用 NN， 定 理 11 中 的 公式 (44) 可 算得 
PF 二 pq/2"! 27q9 十 9 一 Z)[2 9/2 7 
忆 一 | 二 pg—p/2 27+ po/2 玫 十 9 一 oo 。 《39) 
2 一 了 2/[2 1 229 十 2p028 一 47[2 畔 十 1]2 


由 式 〈39) 可 见 ; 开始 基因 型 的 影响 以 1/2 的 衰减 因子 逐 代 减弱 ， 当 "一 ce 时 ,初始 的 影响 
完全 消失 ， 即 极限 转移 概率 矩阵 为 


P 22g 吾 
limP = lp 2pg 好 |。 (40) 


2 2pg go 
并 且 它 不 依赖 于 初始 的 基因 型 ;。 记 Em, 2， xs] 三 Er， 270， gg], 则 易 验 证 : 对 任何 正 
整数 都 有 


Nj 一 mp 十 2p 二 mp， 7 一 1,2,3。 (41) 
故 [m1，x;，xws] 是 一 平稳 分 布 ， 这 表明 : 虽然 随机 交配 一 代 接 着 一 代 地 进行 , 但 是 平稳 的 
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基因 型 分 布 [天 ，22 ，2] 却 永 远 保 持 。 
对 任意 的 正 整 数 a， 若 记 
f99 = PCGn 代 以 来 的 有 序 人 队 中 首次 具有 基因 型 让 其 4 代 祖 先 具 有 基因 型 让 ， 


tj 一 1,2,3。 (42) 
那么 f?G 一 1,2,3) 就 是 基因 型 ;在 第 代 首 次 返回 的 概率 , 利用 工 . 式 (23) 所 得 到 的 式 ， 
f9 一 79 一 Dy", b,j 一 1,2,3, 及 二 1.2……， (43) 


以 及 式 (39) 可 以 递 推 地 算出 f 名 ,i,j 一 1，2，3, 二 1，2,…。 辟 如 基因 型 44 在 第 1 代 、 
第 2 代 、 第 3 代 首 次 返回 的 概率 依次 为 


fy 一 ph = 7， 


f= pH fp = + 这 一 到 一 - 苑 ， 


是 一 将 一 再 你 一 公 生 =z+ 痢 -lz+ 且 |- 任 := 蝇 ， 


于 是 在 具有 基因 型 i 的 祖先 的 条 件 下 其 后 代 终 于 要 返回 到 基因 型 的 概率 为 ,一 24 多， 


i 二 1，2，3。 当 p,， 4 丝 大 于 零 时 ， 那 么 由 式 《39) 知 {1，2，3} 是 正常 返 、 非 周期 、 互通、 
不 可 分 的 状态 集 。 故 太一 1， 2 一 1]，2， 3。 又 由 WN. 定理 8 知 


和 1 en 
Hi; 一 之 1nf 久 一方 ， y9 一 1 ,2,3， (44) 
即 基因 型 44，A，aa 的 平均 返回 时 间 分 别 依次 为 
pa = 1/F, k= 1/2pg, pas = 1/0， (45) 


由 式 (45) 可 见 , 一 个 群体 中 4 基因 越 多 , 即 » 越 大 ,那么 基因 型 44 返回 所 和 堪 的 期 望 时 间 
即 平均 换代 次 数 越 少 。 特 别 地 当 z= 二 1/2 时 ， 基 因 型 如 的 平均 返回 时 间 ma 一 2( 代 ) 。 

正如 文献 [17]、[44]、[45]、[46] 所 显示 的 ， 近 年 来 ， 马 氏 链 理论 在 探讨 人 口 的 增 
长 、 人 的 生长 发 育 、 血 型 分 布 的 规律 、 大 群体 中 单个 基因 的 进化 动态 等 等 许多 具体 问题 中 ， 
得 到 了 普遍 的 重视 和 应 用 ， 并 取得 了 与 实际 相符 的 很 有 价值 的 结果 。 


$ 3 马尔 科 夫 链 在 随机 服务 系统 中 的 应 用 


在 人 类 的 生产 实践 中 ， 以 及 人 类 社会 的 生活 中 ， 诸 如 商店 、 银 行 、 邮 局 里 的 服务 员 为 
来 到 的 顾客 提供 服务 ， 加 油 站 为 汽车 服务 ， 公 共 汽 车 又 为 乘客 服务 ， 订 购车 票 处 为 旅客 服 
务 ， 检 修 工人 为 有 故障 的 符 修 机 器 服务 ， 停 靠 码头 为 进 港 船只 服务 ， 机 场 跑道 为 要 降落 的 
飞机 服务 ， 水 库 要 为 上 游 的 来 水 提供 服务 等 等 这 样 的 事例 时 时 处 处 可 见 ， 不 胜 枚 举 。 搬 开 
上 述 事例 中 各 自 的 属性 ， 可 以 将 商店 、 银 行 、 邮 局 里 的 服务 员 ， 加 油 站 ， 公 共 汽 车 ， 订 购 
车 票 处 ,检修 工人 ， 停 掌 亿 头 ， 机 场 跑道 ,水库 等 抽象 地 统称 为 “服务 机 构 ”， 而 将 随机 来 
到 的 顾客 ， 汽车， 乘客 ， 旅 客 ， 待 修 的 机 器 ， 进 港 般 只， 降落 的 飞机 ， 下 来 的 水 流 泛 称 为 
“顾客 ”"。 那 么 上 述 的 事例 都 可 统一 地 被 闸 述 成 由 服务 机 构 按 照 一 定 的 服务 规则 对 随机 到 来 
的 顾客 进行 服务 的 一 个 随机 服务 系统 。 为 了 考查 随机 服务 系统 的 性 能 ， 自 然 要 提出 一 些 人 
们 最 关心 的 数量 指标 ， 例 如 从 顾客 到 达 服 务 机 构 之 时 起 到 他 开始 接受 服务 时 为 止 的 这 段 等 
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待 时 间 ， 又 如 作为 组 建 服 务 机 构 的 服务 台 连 续 不 间 软 工作 的 时 间 ， 即 忙 期 。 以 及 服务 系统 
中 顾客 的 数目 ， 即 队长 等 指标 。 进 而 当然 需要 探讨 等 待 时 间 、 忙 期 、 队 长 的 概率 分 布 和 它 
们 的 平均 值 。 我 们 即将 看 到 马 氏 链 理论 在 描述 顾客 随机 到 来 的 方式 上 ,定量 分 析 服 务 系统 
回答 上 面 提出 的 问题 上 ， 衡 量 系统 的 服务 质量 上 ， 为 设计 既 经 济 又 满足 需求 的 服务 机 构 提 
供 充分 的 论据 上 ， 都 起 到 了 极其 重要 的 作用 。 

例 9 设 乘 客 按 普 阿 松 过 程 来 到 公共 汽车 站 。 规定 每 隔 时 间 了 开 出 一 辆 公共 汽车 , 将 站 
上 候车 的 乘客 全 部 载 走 . 为 了 缩短 乘客 的 候车 时 间 ，, 准备 在 原来 的 两 班车 之 间 再 增 开 一 辆 ， 
即 在 区 间 (0,，T)》 中 选择 1t， 在 1 时 刻 增 开 班车 将 《0, 羽 中 来 到 的 乘客 全 部 载 走 ， 而 在 时 
刻 7 了 开 出 的 班车 只 将 (4,，7] 中 来 到 的 乘客 全 部 载 走 ， 试 问 应 如 何 选 取 # 使 得 〈0， 7] 中 来 
到 的 全 体 乘客 的 总 的 平均 候车 时 间 最 短 。 

记 XX, 为 (0, 纪 中 来 到 的 乘客 数 , 设 X,=n, 由 娠 . 定理 21 可 以 认为 这 = 位 乘客 是 相互 
独立 地 来 到 , 并 且 来 到 的 时 刻 服从 〈0, t) 上 的 均匀 分 布 ， 因 此 每 位 乘客 的 平均 等 候 时 间 为 


二 ,那么 这 "位 乘客 的 总 的 平均 等 候 时 间 为 于 ,从 而 在 《0, 器 中 来 到 的 全 体 乘客 的 总 的 平 
均等 候 时 间 为 


2 p(X, = 4) = > 号 ， 人 ex 一 季 ， (46) 
根据 普 阿 松 过 程 的 平稳 增 量 性 ， 便 知 在 (，7TD 向 来 到 的 全 体 条 客 的 总 的 平均 代 车 时 间 为 


7 一人 现在 求 1 使 得 区 - 十 之 《一 全- 达到 最 小 ， 易 得 /=7/2。 

例 10 设 某 眼 务 机构 在 每 一 单元 时 间 间 隔 内 只 为 一 位 顾客 服务 ， 服 务 结束 顾客 即 离 
去 ， 若 在 一 单元 时 间 间 隔 的 开始 时 刻 没 有 顾客 等 候 服务 ， 那 么 在 此 单元 时 间 间 隔 内 机 构 将 
停止 服务 。 若 等 候 服务 的 顾客 多 于 一 位 ， 那 么 顾客 按 到 来 的 先后 依次 排列 等 候 ， 以 XC 
= 1,2,…) 记 第 4 人 “元 时 间 间 隔 的 开始 时 刻 正在 排队 等 候 的 顾客 数 ， 并 设 品 一 1。 又 以 
(a = 1,2,…) 记 在 第 .个 单元 时 间 间隔 内 来 到 的 顾客 数 ， 设 {4, = 1,2,…} 是 独立 同 分 
布 的 随机 变量 序列 ， 其 公共 分 布 为 


Plé, = £) = gi» k= 0,1,2,.…, 了 一 1 2，…。 (47) 
于 是 若 入 -1 一 0， 则 入 一 上 车 -1 二 i 字 1， 则 义 , 二 ?一 1 十 6 ， 综合 两 者 可 写成 下 列 关 系 式 : 
X, 一 mmax(X ~ 1,0) 十 和， n= 1,2,."。 (48) 


因为 {&.,n 二 1;2,…} 相互 独立 ， 所 以 {Xn 二 0,1,2,…} 是 状态 空间 为 0,1,2,…} 的 蕊 
氏 链 ， 而 且 由 式 (47) 与 式 (48) 知 : 对 任何 3 了 € {0,1,2,.}) ,2 .一 1，2， … 有 
P(X, = j|Xi = = PmaxG 1,0)++6 = jlX-i1=i) 
= P(e = j— max(i— 1,0)), (49) 
即 马 氏 链 是 齐 次 的 ， 一 步 转移 概率 矩阵 由 式 〈49) 得 


P=|0 gg 9 …|。 《50) 


正 像 在 介绍 分 支 过 程 中 所 解释 的 一 样 ， 90 一 1， 或 9o 一 0， Hg=1, 或 go 一 0 且 gl 等 都 是 
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平凡 情形 不 再 讨论 。 以 后 总 假设 0<ge<<1， 如 果 还 有 wm 十 %=1， 那 么 {0，1} 便 构成 一 个 
正常 返 类 ， 并 且 平 稳 分 布 为 帮 二 go， 而 二 g1， 二 0, k= 二 2，3，*…。 从 任意 的 状态 =2，3， 
出发， 迟早 要 经 过 4 一 1 ,4 一 2，*"…，2， 最 后 到 达 1， 进入 这 正常 返 类 。 而 在 条 件 
0<Zp<1l, nd+a<=l1, (51) 
之 下 ， 必 有 某 to。 (之 2) 使 0,>>0， 由 式 〈50) 知 pw=pw0 王 "二 pii-1 二 "二 之 0， Po 一 2 
一 pi+n 一 gu 盖 0，k 一 2，3，…， 因 此 该 马 氏 链 是 不 可 分 的 ， 状 态 0 是 非 周 期 的 ， 从 而 所 
有 状态 都 是 非 周期 的 。 


记 4 一 tg 为 为 一 个 单元 时 间 间 隔 内 来 到 的 顾客 的 平均 数 , 记 0(2) = Zioz 为 式 (47) 
中 分 布 的 母 函 数 , 由 工 . 定理 35 知 : 若 该 马 氏 链 是 非常 返 的 ， 则 有 Pim x 二 。) = 1 .再 


由 定理 2, 方程 z= G(z) 在 (0,1) 中 有 一 个 根 ， 便 可 严格 地 证 明 以 下 有 用 的 结论 《参见 文献 
[4]) : 
Q) 若 e>1， 则 该 马 氏 链 是 非常 返 的 ; 车 上 一 1， 该 链 是 零 常 返 的 ! 若 w<1， 该 链 是 正 
常 返 的 。 | 

(iD 车 该 链 是 正常 返 的 , 必 有 了 唯一 的 平稳 分 布 [mw,* = 0,1,2，]， 记 此 分 布 的 母 函 数 
为 x(z) = jmz， 则 


0<m=1—J<1, (52) 


例 11 对 比例 10 中 的 模型 。 假设 在 每 个 单元 时 间 间 隔 内 只 来 到 一 位 顾客 , 而 为 顾客 服 
务 的 服务 员 个 数 是 随机 的 ， 并 且 它 们 还 是 独立 同 分 布 的 。 实 际 上 这 是 把 前 后 相继 来 到 的 两 
位 顾客 之 间 所 经 历 的 时 间 段 看 作为 一 个 单元 时 间 间 隔 ， 当 然 它 是 随机 的 。 而 在 这 单元 时 间 
间隔 内 能 为 多 少 位 顾客 服务 ， 这 也 就 是 此 单元 间隔 内 参加 服务 的 服务 员 个 数 ， 自 然 它 也 是 
随机 的 。 

以 X, 记 第 4 个 单元 时 间 间 隐 的 结束 时 刻 依 先后 到 来 的 次 序 在 排队 等 候 的 顾客 数 , 并 设 
Xo 二 1， 总 在 每 个 单元 时 间 间 隔 的 开始 时 刻 来 到 一 位 顾客 , 又 以 记 在 第 # 个 单元 时 间 间 隔 
内 参加 服务 的 服务 员 数 , 设 {6,,n = 1,2,…} 是 独立 同 分 布 的 随机 变量 序列 , 其 公共 分 布 仍 
记 为 

P(E =E) = k=0,1, R= 1,2,., ($54) 
当 服 务 员 个 数 大 于 顾客 数 时 ， 多 余 的 服务 员 不 参加 服务 。 由 比 可 得 下列 关系 式 ， 
Xo 一 1，Xo 一 max(X 十 1 一 上 0)， 一 1 2 (55) 
仍 因 {58,52 二 1,2,…} 的 独立 性 可 知 {Xsr = 二 0,1,…} 是 状态 空 间 为 (011 } 的 马 氏 链 。 对 
任何 ;jE (01) ,n 二 1,2,… ,由 式 (54) 与 式 (55) ， 及 {52 二 11,2,…*} 的 独立 性 有 
P(X 一 让 X = Plmaxti+ 1 Co— 6,0) 一 中 X = i) 
= pmaxG+1—é,0)=) 


?>it d= Dn j 一 0， 


k= 十 


. (56) 
上 1 ji+1， 


0， 7 之 i 十 1。 
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由 式 《56) 可 知 ， 马 氏 链 {X,,n = 0,1,…} 是 齐 次 的 ， 其 一 步 转移 概率 沅 阵 为 
a 0 0 0 


其 中 “= Zi9, 1 一 0，]， “ 对 于 go=1, gi 二 1, go 一 0 且 9 之 1,，0< 之 go 之 1 且 go 二 gi 二 1 等 
等 容易 理解 的 平凡 情况 不 再 论述 。 仍 然 仅 在 假设 
0<g<1l, gtn<l (58) 
的 条 件 下 进行 讨论 。 类 似 于 例 10 中 的 讨论 , 在 式 (58) 之 下 , 所 有 状态 是 互通 的 , 状态 0 是 
非 周 期 的 ， 从 而 马 氏 链 {X.,n = 0,1,…} 是 不 可 分 的 非 周期 的 。 
仍然 记 4 与 6(z) 分 别 依次 为 分 布 (54) 的 期 望 与 母 应 数 ， 又 依 定理 2 令 ”是 方程 
z 二 G《z) 在 (0,1) 中 必 存 在 的 根 。 则 可 证 明 以 下 有 用 的 结论 〈 参 见 文献 【4]) : 
(i) 车 4 过 1, 该 马 氏 链 是 非常 返 的 ; (ii) 车 4=1, 该 链 是 零 常 返 的 ， Gii) 车 wx>1， 该 
链 是 正常 返 的 ， 这 时 存在 唯一 的 平稳 分 布 是 
m= (rri, j= 0,1,。 (59) 
例 12 设 有 以 台 机 床 与 mr 位 修理 工人 , m 所 MM。 一旦 机 床 出 现 故 障 ， 立即 由 空闲 修 型 
工人 修理 ， 若 无 空闲 工人 ， 只 有 等 到 有 空闲 的 修理 工人 之 后 再 来 修理 ， 修 复 的 机 闵 立 即 重 
新 工作 。 假 设 在 时 刻 i 正常 工作 的 每 台 机 床 在 G,t 十 Ab 中 损坏 的 概率 都 为 XCAI 十 "CAt) ， 
而 在 时 刻 i 正 进行 修理 的 每 台 机 床 在 G4,t 十 1) 内 被 修复 的 概率 都 为 psi 十 o(A) 。 其 中 
和 %k 之 0。 又 设 各 台 机 床 的 运转 状况 是 相互 独立 的 。 
车 记 X; 为 时 刻 t 固 故 障 未 工作 的 机 床 数 。 根 据 以 上 的 假定 , {Xi,t 之 0} 是 状态 空间 为 
{0,1,…,M} 的 齐 次 马 氏 链 ， 其 密度 矩阵 为 


一 MA MM [ 中 esioevceeeeeeooesoevete see otier arsenal 

ph — CCM 一 1) 十 2] (M — 1)4 ] spr ta nr sos | 
ee 

加 站 一 [Cx 一 fi 小 mp] (MO— m)a 人 | 
4 = 0 . 0 Wp — {cM 一 和 一 1)2 十 wp] (MO— mo Ah | " 
ee | 

(60) 

由 此 可 知 {X,,t 之 0} 是 有 限 不 可 分 正常 返 的 生 灭 过 程 。 由 证 . 式 (82) 可 得 该 生 灭 过 程 的 平 

稳 分 布 应 满足 的 方程 组 ; 


一 MAnmo + pn: = 0, 
CM— j++ Dans [CM DMF ja 二 GT Damn=0 j= lm 1, 
区 — j++ Dahmii ~— [OM 一 力 2 十 mm + mpnti 一 0， 了 二 
ATw-1 一 MJT 一 0。 
(61) 
解 此 方程 组 〈61) 得 平稳 分 布 如 下 : 
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= [Vol 4) 2 et D2 
eo 
| 二 | m， 9 一 1 
Ti 一 ， . ; (63) 
| 2 os j= 二 nm 十 1,,M 
07 x 


在 管理 使 用 这 MM 台 机 床 过 程 中 ,如 何 合理 地 配备 使 用 检修 工人 ,当然 是 一 个 重要 问题 。 
为 此 先 定 义 两 个 有 实际 意义 的 数量 指标 。 显 然 Sm 表示 因 故 障 不 工作 机 床 的 平均 台数 ， 
因此 定义 


该 M 台 机 床 的 平均 利用 率 71 = 1 一 六 Dm (64) 


这 是 合理 的 。 当 不 工作 的 机 床 数 《 志 mw 时 ， 修理 工人 的 利用 率 明显 为 二 ， 若 此 上 > 时 , 全 
体 修理 工人 都 在 工作 ， 利 用 率 当然 为 1。 因 此 定义 


该 m 个 修理 工人 的 平均 利用 率 7s = 了 二 mm 十 了) nm， C65) 


这 是 合理 的 。 根据 实践 经 验 , 容易 理解 机 床 平均 利用 率 * 与 修理 工人 平均 利用 率 ”之 间 是 
一 者 提高 那么 另 一 者 就 下 降 的 关系 。 而 且 比 值 Wz 主要 取决 于 机 床 的 质量 及 修理 工人 的 技 
术 水 平 。 通 常 在 给 定 比 值 Wx 之 后 还 应 该 根据 各 项 指标 与 费用 合理 地 确定 出 应 配备 的 修理 
工人 的 数量 。 对 此 ， 下面 提供 一 张 有 实 奈 参考 价值 的 典型 的 数字 表 。 

表 7 修理 工 的 数量 与 平均 利用 率 。 4/4p=0. 45 


| 4 
由 此 表 给 出 的 数据 可 知 oe 随 着 机 床 台 
数 的 增加 ， 修 理工 的 平均 利用 率 却 有 显著 各 高 。16 台 机 床 由 4 位 修理 工人 集中 统一 管理 比 
4 位 修理 工 每 人 分 管 4 台 栅 床 的 效率 高 。 当 扒 在 渗 理 工人 的 平均 利用 率 近 于 1 时 , 再 过 份 地 
强调 集中 使 用 修理 工人 的 意义 就 不 大 了 。 像 表 7 所 给 出 的 数据 还 能 帮助 我 们 对 如 何 分 组 配 
备 修理 工人 作出 决策 。 

例 13 设 车 间 里 有 M 部 机 器 ,每 部 机 器 正常 工作 的 时 间 都 服从 参数 为 4 的 指数 分 布 ， 
且 各 部 机 器 的 工作 状况 相互 独立 。 如 果 有 * 部 (1 志 4 志 以) 机 器 出 现 故障 ， 要 进行 修理 必 
须 全 车 间 停 工 , 而 且 无 论 值 的 大 小 , 修理 的 时 间 总 是 服从 参数 为 4 的 指数 分 布 。 试 确定 这 
样 的 * 值 mm， 当 出 现 故障 的 机 器 是 名 部 时 ， 车 间 全 部 停工 检修 ， 才 可 使 全 车 间 的 生产 率 为 
最 大 ， 即 正常 工作 的 机 器 的 平均 台数 为 最 大 。 i 

记 X, 为 时 刻 上 损坏 的 机 器 部 数 。 类 似 于 例 12， 由 假设 {X,, 0) 是 马 氏 链 。 注意 到 依 
假定 当 损坏 的 机 器 数 上 小 于 be 时 , 车 间 不 停工 修理 ， 让 其 余 W 一 4 台 完 好 的 机 器 继续 工作 。 
-- 生 损坏 的 机 器 数 达 到 如 时 , 车 间 即 停工 , 将 如 台 有 故障 的 机 器 全 部 修复 后 才 重新 开始 工 
作 , 因此 该 马 氏 链 具有 心 十 1 个 状态 {0.1,…, 刀 }, 而 且 由 状态 和 必 转 入 状态 0。 若 X=0， 
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由 独立 性 与 机 器 正常 工作 时 间 服 从 指数 分 布 ， 修 理 时 间 也 服从 指数 分 布 的 假定 知 : poo(2) 
一 PP 号 一 0) 一 er 信人 六 0 而 且 在 二 0 十 时 ,po 人 人 一 Me (一 ee 十 We 人 
一 一 e “pis lt) = e“,t 让 0。 故 


doo 一 dim 一 一 一 一 MA, 
一 (一 Dr oY 
gq = lim 人 Le (4L 一 十 的) pi, 
pr0+ t 
，  e*—] 
Qiot lim t 二 一 Ls 
, 1 一 ee“ 
二 
其 它 的 gj 可 类 似 求 出 ， 这 样 得 密度 矩阵 
一 MA MA 0 0 0 
0 — (M- 1)% (MC— 1)% 0 0 
Ee 一 , (66) 
0 0 0 一 《太一 如 十 1)2 CM ko 1)4 
HK Q 0 0 — 1 


由 式 〈66) 便 知 该 马 氏 链 的 平稳 分 布 应 满足 的 方程 组 是 : 
一 Mm 十 um = 0， 


(M 一 7 十 1) Mri-i — (MC— I A 一 0， 了 一 1，……lo 一 ]， (67) 
(MC— ho 十 1) Mm -i 一 J 二 0。. 
由 式 (67) 解 得 
入 M— ;十 1 _ _ M 
m= Mm TT Mj J 一 1， 一 上 
从 而 有 
oy j -! 
m= [uD 
i (68) 
入 
AX) 一 To- mT J 二] ko— 1, Tm Noo 


于 是 正常 工作 着 的 机 器 的 平均 台数 为 
A = Mm 十 (MM 一 DD 十 下 十 《一 始 十 Dm-1 十 上 


ti 


3 1 A 
= 吉之 了 十 六] 。 (69) 
由 以 上 的 论证 及 o 的 含义 , 税 应 使 4 在 14 二 Mm 十 CM 一 有 Dz 十 十 (MM 一 上 十 Dm- 
时光 可 上 二 之] = 是 ad 中 达到 最 大 。 下 面 来 确定 如 。 
j=™=0 
计 先 注意 到 对 hl "| ， 若 和 4 宇 4i1， 则 丸和 宇 41，2 志 所 一 tk。 事实 上 由 
之 4 得 之 之 -六 一 .由 此 ， 对 2! 性 M 一 k 有 
A pr 可 一 
~ ee { S| 1 
otro #7 < ++ -| 
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4 [| 1 
< + 7 
这 就 是 4: 汪 4 和 +1。 
区 AT sl LT 过 二 
车 A 之 和 , 即 | 训 十 之 |] > 并 讽 二 二 二 T 十 过 | ， 也 就 是 二 人 < 了 WT 一 5 


时 ， 由 前 面 所 证 知 : 这 时 4 二 Dax 4 ， 故 应 取 6 二 1。 


车 4 < 4 和 24， 即 | 言 + 过 | < 2 [ 遍 + A++ 二 | ， 而 县 


} 1 A1-! 1 i 1 ATi-! 1 入 
2 谨 + + 康 | >3[ 六 + Hr+ s+7 | ,也 就 是 天 
3M—2 、 
< TH 时 ， 仍 由 前 面 所 证 知 ， 这 时 4: = Max Ah ， 故 应 取 二 2。 

。 一 
一 般 地 , 若 4 二 中 元 < 必 4f+ 县 40 它 4 1 委 i 过 及 一 2, 即 若 ~- 了 一 >) 羌 上 7 
0 
iM hr! 二 max 4 ， 故 应 
< 和 2 玉 二 了 1 二 i< WM 一 2, 则 此 时 4ti 二 max4:， 赦 应 取 避 
二 ! 沾 1。 
A 3 1 

当然 ， 若 有 4 之 和 Ay » 好 二 >M 一 1 一 2 可 一 了 时 则 hx= max 4， 故 

点 取 ie 一 1 。 


例 14 回顾 第 一 章 中 的 例 5 水 库 贮 水 模型 。 车 把 “降雨 ” 当 作 “ 顾 客 ”, 将 降雨 的 时 间 
当 作 顾 客 陆续 到 来 的 时 间 。 将 每 次 降雨 量 看 作对 顾客 的 服务 时 间 ， 那 么 库 中 水 容量 与 等 竺 
时 间 两 者 实际 上 是 等 同 的 。 很 多 类 型 的 水 库 问 题 还 可 直接 化 为 随机 服务 系统 的 问题 ， 两 者 
的 关系 是 很 密切 的 。 沿 用工. 例 5 中 的 记号 ,首先 来 寻求 每 年 水 库 迪 水 量 序列 1X.,n 二 1,2， 
…} 此 马 氏 链 的 平稳 分 布 。 

为 方便 起 见 设 1, 例 5 中 的 以 =1。 记 志 = limp 名 ,ij 一 0,1,…,4 一 1。 那么 就 及 


gL 


一 2 有 区 天 01 过 一 1。 由 工 式 (42) 上 式 可 写成 


mo = (po p17sro 十 pom, 


和 一 pzNio 十 pr 二 六 DTF2， 


《70) 
Tk-z 一 px-iffo 十 Pro 十 … 十 ok-19 
La = Hrm 十 已 Ki tt tt Hing-ie 
式 (70) 即 平稳 分 布 [zoy mm,… ,zx-ij 应 满足 的 方程 。 为 解 出 Lzos 7 ，… srr-1] ， 将 式 
《70) 中 的 [mo,… ,zw'-1] 分 别 依次 换 成 [6，… sux-!j] 即 
uo = Cpo + ?020 十 pout, 
2 = pzuo 十 piv 十 pouz, 
。 (71) 
Wk = px~itto 十 和 一 224 十 … 十 puk-ty 
uz! = Hruo tT He "+ Hiuxr-ie 


在 式 《71) 中 , 令 w=1,， 并 由 其 中 的 第 一 式 可 解 得 w = 一 2 一 笋 ,再 将 此 如 与 w 二 1 


po 
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代入 其 中 的 第 二 式 可 解 得 如 = (1 一 1) 了 二 2 一 各 。 如 此 递 推 地 计算 下 去 ， 直 


到 算得 xx-: 为 止 。 最 后 mm 三 1 Dou 一 w/ Di 一 1] 一 1。 显 然 mm 就 是 水 库 枯 竟 
的 概率 。 而 水 库 积 水 过 剩 而 滋 出 的 概率 为 P(X, 十 了 ,> 及) ,因为 X, 与 了 相互 独立 。 可 利 
用 卷 积 公式 算出 六 .十 Y, 的 分 布 ， 从 而 求 得 滋 出 概率 。 

对 额定 容量 为 玉 个 单位 的 水 库 ， 仍 以 X,(n = 0,1) 记 水 库 在 4 时刻 的 容 水 量 ， 以 
Yn 二 0,1,…) 记 在 时 间 段 [n,n 十 1) 内 流入 水 库 的 水 量 ，{Y,sn 一 0,1,…} 不 仅 与 {Xsn 
二 0,1,…}) 独立 ， 而且 本 身 还 是 独立 同 分 布 的 ， 公 共 分 布 为 

PY=) =p, j=0,1,.,n = 0,1,. 
只 要 水 库 不 室 , 每 次 都 泄 放 一 个 单位 水 量 。 在 初始 水 库 的 容 水 量 X = 一 0<<: 委 天 的 条 件 
下 ， 考 虑 水 库 在 洲 流 之 前 于 时 刻 4 首次 放空 的 概率 f8 


{P(X1 = 0|Xo = 0), n= ji， 


f2 一 (72) 
1P(X = 0;Xs > ON TY SEKI EmEnlXK =i), nl1, 
自然 这 是 人 们 很 关心 的 问题 。 
定理 3 在 上 硬 对 帘 限 水 记 所 作 号 假设 下 ， 则 有 
JP 一 当 nt (73) 
4 = po da, (74) 
e- 一 了 io， 当 # > 1。 《75) 
其 中 规定 6 io = jg 二 ],/ 锥 二 0,1==1] 
* 1 二 0， i 1, 00 一 一 2° [3 


证 根据 假设 条 件 , 式 (73)、(74) 显然 成 立 , 对 zz 的 情形 , 记 Y = min(K 一 in 一人。 
由 式 (72), 利用 {Xn 二 0,1,…}) 的 马 氏 性 , 它 与 Y 独立 , 并 注意 到 规定 每 次 泄 放 都 为 
一 个 单位 水 量 , 而 且 在 积 水 量 超过 库容 量 天时 将 会 溢出 。 那 么 当 这 1 时 便 有 

1 =P(X, =0;Xs>0, X.Y SCE, lm<n| Xo=i) 


= Bpo,= =)PX = 0X 0 KY ER, Emrn| X=iYo= 
= PnP = 0 Xo 0X FY CFR, 2CmnX i ljKIL =i=)) 


= Dope =0X 0 XY ER, 2Smnn Xi lt X=iY0=) 
.P(X!=i—1 二 7|Xo=i,Y0=)) 
Vv 


= 2 pPCX = 0 o> 0 Xo YCK,2Sn<n|X = 1+) 
= Cn f= ZF Do。 
上 和 式 中 最 后 两 个 等 号 成 立 的 根据 依次 是 {Xn = 0,1,…) 的 齐 次 性 , 它 与 {Y.,n = 0,1,…} 
的 独立 性 ， 以 及 式 (73)。 

当 n>1 且 i=1 时, 上 述 推理 的 求 和 号 中 相应 于 j=0 的 那 一 项 即 poff274% 应 当 去 掉 , 因 
为 否则 就 有 XX, 二 =i- 一 1 十 j 二 0， 这 与 在 时 刻 x 之 1 首次 放空 的 假设 予 盾 ， 故 有 
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f = Sy, 了 人 = D3 f%7 0。 
最 后 一 个 等 号 成 立 的 根据 是 按 规定 J ”= 0 。 定 理 证 完 。 
下 面 下 给 出 一 个 颇 有 实用 价值 的 结论 。 
定理 4 ”对 额定 容量 为 玉 个 单位 的 水 库 , 在 初始 库容 Xo=i 污 0 的 条 件 下 ， 水 库 溢 流 前 


首次 放空 时 间 分 布 {f 久 ,rn 一 0,1,…) 的 母 函 数 瑟 (2) 一 2187 为 
F(z) = zpo 6 十 2980)[L — 28- (76) 
其 中 
py pa prs pr- 0 
po pi * prs pre 0 
0 网 Pe ] ， (77) 
0 0 wo po D 0 
0 0 … 0 po 0 
9G) 为 矩阵 8 的 第 ; 行 ， [为 单位 矩阵 , fb = [po,0,…,0]' 。 从 而 水 库 在 溢 流 前 放空 的 概 
率 为 
Fi(1) = po QO ~— 91, (78) 
定理 4 的 详细 证 明 可 参看 文献 [47]， 本 书 不 再 给 出 。 
例 15 设 有 一 轮船 码头 , 在 [0, 2) 时 间 区 间 内 来 到 此 码头 要 求 装 捷 货物 的 轮船 数 式 ， 
1 之 0 构成 一 个 以 (> 0) 为 参数 的 普 阿 松 过程 ， 即 


k= 0 1，…， [之 10。 


大 7 ， 
又 假设 每 条 轮船 装 钾 货 物 的 时 间 都 是 服从 同一 个 参数 为 K> 0) 的 负 指 数 分 布 的 随机 变量 
在 ， 即 

1 一 ex， 1 之 10， 

0， < 0。 
假定 各 条 船 的 装 伸 货物 时 间 是 相互 独立 的 ， 而 且 它 们 与 到 来 的 轮船 数 {X,,t 之 0} 亦 相互 独 
立 。 若 令 了 ,是 在 时 刻 t 停 在 码头 内 的 船只 数 ， 则 {I,t 之 0}) 是 一 生 灭 过 程 ， 其 密度 矩阵 为 


PT EH = 


一 人 入 0 0 
A 一 人 十 及 2 0 人 … 
一 . 。 (79) 
0 24 一 (4 十 24) 和 


此 结论 的 详细 且 较 长 的 证 明 可 人 参看 文献 [6]。 

在 其 它 领域 里 的 一 些 实际 问题 中 ， 类 同 于 上 面 所 介绍 的 应 用 实例 还 可 以 列举 省 儿 。 其 
中 特别 引 人 注 目的 是 马 氏 链 理 论 在 计算 机 系统 建 模 与 性 能 分 析 评 价 中 的 应 用 ， 将 在 下 一 节 
里 专门 作 一 介绍 。 
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3 4 马尔 科 夫 链 在 计算 机 科学 中 的 应 用 


现代 计算 机 系统 是 由 一 些 硬 件 又 有 一 些 软件 针对 一 定 目的 按照 一 定 关系 组 成 的 一 个 复 
杂 的 整体 。 要 评价 它 的 性 能 是 否 优良 ， 是 否 达 到 了 预期 的 目标 ， 首 先 必 须 明确 该 系统 究竟 
有 哪些 主要 的 性 能 ， 并 建立 描述 或 度量 这 种 系统 性 能 的 确切 指标 。 一 般 说 来 ， 一 个 计算 机 
系统 的 性 能 应 包括 以 下 两 个 主要 方面 : 

(i) 系统 的 可 靠 性 或 可 利用 性 ， 亦 即 计 算 机 系统 能 正常 工作 的 时 间 ， 找 述 它 的 指标 可 
以 是 持续 正常 工作 的 时 间 长 度 ， 如 平均 无 故障 时 间 ， 也 可 以 是 在 一 段 时 间 内 正常 工作 时 间 
所 占 的 百分比 等 等 这 些 综合 性 指标 。 

(i) 系统 的 处 理 能 力 或 效率 ， 用 来 刻画 这 种 性 能 的 综合 指标 可 以 是 各 种 吞吐 这. 如 计 
算 机 系统 在 单位 时 间 内 能 够 处 理 完毕 的 作业 数量 ;也 可 以 是 各 种 响应 时 间 ， 即 从 计算 机 系 
统 得 到 输入 到 给 出 输出 之 亲 的 这 段 时 间 : 还 可 以 是 各 种 利用 率 ， 即 计算 机 系统 的 各 种 部 件 
的 利用 率 ， 也 就 是 在 给 定 的 时 间 区 间 中 ， 被 使 用 的 时 间 与 整个 时 间 之 比 。 

所 谓 计 算 机 系统 的 性 能 评价 就 是 要 求 出 其 性 能 指标 值 。 到 目前 为 止 已 积累 了 不 少 寻 求 
系统 性 能 指标 的 切实 可 行 的 方法 。 其 中 一 种 比较 省 时 而 且 经 济 的 方法 是 建立 计算 机 系统 的 
解析 模型 ， 运 用 数学 工具 分 析 该 模型 ， 求 出 该 模型 的 各 种 性 能 指标 值 ， 用 它们 近似 地 来 代 
表 原 计算 机 系统 的 相应 性 能 指标 值 。 这 类 解析 模型 方法 不 仪 可 以 用 于 已 经 建成 的 计算 机 系 
统 的 性 能 评价 ， 而 且 还 可 用 于 尚未 实现 正在 构想 设计 中 的 系统 ,为 其 性 能 的 预测 提供 理论 
依据 。 

若 将 计算 机 系统 中 的 中 央 处 理 装置 (CPU)、 存 迪 器 、 磁盘 、 输 入 -输出 设备 等 各 种 部 件 
都 看 作 是 服务 机 构 或 服务 员 ， 将 请 求 、 任 务 、 程 序 等 作业 看 作 是 顾客 ， 某 作业 在 某 部 件 中 
进行 处 理 时 ， 就 当 作 该 顾客 在 接受 该 服务 员 的 服务 。 一 旦 作业 量 超过 了 能 够 处 理 它们 的 部 
件数 量 时 ， 必 将 产生 等 待 中 央 处 理 装置 服务 的 作业 队列 ， 或 等 待 内 存 分 配 的 作业 队列 ， 或 
等 待 输入 -输出 设备 服务 的 作业 队列 等 等 排队 现象 .计算 机 系统 中 的 大 多 数 性 能 问题 正 是 与 
排队 延迟 有 关 ， 这 种 延迟 是 由 于 使 用 资源 冲突 而 引起 的 ， 因 此 在 分 析 各 种 使 用 资源 冲突 对 
系统 性 能 的 影响 时 (如 研究 香 叶 率 、 利 用 率 、 平 均 响 应 时 间 等 指标 时 ), 运用 排队 论 知识 是 
很 自然 的 。 从 已 获得 的 理论 结果 与 实际 观测 或 模拟 研究 结果 的 符合 程度 上 也 说 明了 应 用 排 
队 理 论 是 很 合适 的 。 所 以 在 计算 机 系统 性 能 评价 中 ， 常 用 的 模型 之 一 是 排队 模型 ， 又 因为 
往往 具有 无 后 效 性 ， 故 经 常 碰 到 的 是 马尔 科 去 型 排队 模型 。 

例 16“ 某 公司 的 一 个 门市 部 中 , 设 有 一 个 远程 终端 , 它 连接 于 公司 的 计算 中 心 的 计 
算 机 上 , 终端 每 天 开放 16 h 供 在 本 地 工作 的 工程 师 们 使 用 。 假 定 工程 师 们 来 到 的 模式 是 随 
机 的 , 每 天 平均 有 20 位 工程 师 米 使 用 终端 , 再 假定 每 个 工程 师 占 用 终端 的 时 间 是 服从 负 指 
数 分 布 的 随机 变量 ,其 均值 为 30 min, 那么 20 人 共 需 10 h， 既 然 终端 开设 16 h, 因此 终端 
的 利用 率 为 10/16 王 62.5% 。 现 在 使 用 终端 的 工程 师 仍 抱怨 等 待 时 间 太 长 要 求 增加 一 个 终 
端 。 试 问 这 种 要 求 是 否 合理 ? 

通常 用 M 表示 顾客 来 到 的 规律 即 输 入 过 程 是 参数 为 和 的 普 阿 松 过 程 ， 以 表示 服务 机 
构 中 服务 员 的 数量 ,车 服务 员 对 顾客 的 服务 时 间 是 一 串 相 互 独立 的 具有 同一 参数 为 4 的 负 
指数 分 布 的 随机 变量 列 , 也 以 M 表示 , 那么 例 16 就 是 以 通用 的 记号 M/M/1 所 表示 的 等 待 
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制 先 到 先 服务 的 排队 系统 。 当 然 为 各 顾客 的 服务 时 间 是 相互 独立 的 ， 而 且 它 们 与 输入 过 程 
也 是 独立 的 . 为 了 回答 例 16 提出 的 县 体 问 题 先 对 M/AM/e 的 一 般 情 形 进行 讨论 。 

令 XX 表示 时 刻 :在 该 服务 机 构 中 正在 接受 服务 和 正在 排队 等 待 服务 的 顾客 总 数 , 或 简 
称 为 时 刻 t 的 队长 。 如 果 现 让 时 刻 已 知 服务 系统 中 有 + 位 顾客 , 即 已 ,一 如 那么 将 来 i> 
4b) 时 的 队长 忒 ， 除 了 上 值 之 外 ， 仅 取决 于 以 下 因素 ， 

(i) 目前 正在 接受 服务 的 min (kt,e) 位 顾客 在 (ke， 幻 内 结束 服务 而 离 去 的 个 数 ; 

Gi) 在 (%， 旺 内 新 来 到 的 顾客 数 ; 

(iii) 时刻 6 之 后 才 开始 接受 服务 的 顾客 在 〈b,， 日 内 结束 服务 而 离 去 的 个 数 。 

然而 因为 指数 分 布 的 无 后 效 性 ,上 述 三 种 因素 都 与 之 前 的 队长 无 关 , 因此 {X,,t 之 0) 
其 马 氏 链 。 

由 假设 , 车 在 时 刻 :有 i 位 顾客 在 接受 服务 , 那么 在 (t,i 十 4 内 有 一 位 顾客 结束 服务 
的 概率 为 ih 4 十 ol4t) ,多 于 一 位 顾客 服务 完毕 的 概率 是 oc4t) ,由 于 顾客 的 来 到 与 正在 接 
受 服务 之 顾客 的 进展 情况 是 相互 独立 的 ,因此 在 (t,t 十 4] 内 既 有 顾客 来 到 又 有 顾客 服务 完 
毕 而 离 去 的 概率 为 oC4t) ， 于 是 {X,t 0) 的 密度 矩阵 为 


三 Ma 加 0 . 0 0 
| 一 《十 岂 ) 0 0 » ， (80) 
0 dz 一 《十 jp) hn 0 … 
其 中 
和》 一 7 j= 0,1,2.0., 
人 一 1 2 (81) 
ch, 了 一 5 十 lc 十 2 


因而 {Xi,t 之 0} 是 一 个 不 可 分 的 生 灭 过 程 。 它 还 具有 以 下 一 些 性 质 ， 
定理 5 对 于 上 面 所 给 的 密度 矩阵 如 式 〈80) 、 式 (81) 的 生 灭 过 程 (X,t 之 0), 它 的 
转移 概率 乱 阵 族 为 [p00)],t 之 0) 。 著 记 4 二 夺 ， Pp 一 言 ，m 一 1， 及 
ps: = AoAl'* hl = 人 下 一 01，…yCy 。 (82) 
Hla hh Up /kl = pf, k=c,ct 1,* 
则 ”Gi) p>>1 时 ， 链 为 非常 返 的 ，p 二 1 时 ， 链 为 等 常 返 的 ， p< 1 时， 链 为 正常 返 的 ， 


Gi) 当 p 之 1 时 ,有 lim p(t) 一 py/ Poi j= 二 0,1,… 。 从 而 有 


Nj 一 limP(X, 二 站 二 lim PCx 一 p(tl) 一 Pi/ 2 P, 
一 oo ci 二 


| 一 一 一 一 一 ， j= 0,.1,",0, 
| Du /hk! + uel(l — p) 

二 J“ | (83) 
pi, j= 0 二 13。 


DE/ + w/elll — p) 


kan OD 


此 {7 一 0.1,…)} 是 {X,， UL 0,1,..} 的 即 队长 的 平稳 分 布 。 
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定理 5 的 论证 可 参看 文献 [4] 或 [6]， 本 书 不 再 给 出 ， 这 里 仅 作 某 些 直观 解释 。4 是 
单位 时 间 内 来 到 顾客 的 平均 数 。 1/4 是 每 个 顾客 的 平均 服务 时 间 , 车 个 服务 员 全 部 都 工作 
时 ,服务 好 一 个 顾客 的 平均 时 间 为 1/c4, 那么 cx 就 是 单位 时 间 内 服务 完毕 的 顾客 平均 数 , 因 
此 p 一 去- 表示 单位 时 间 内 来 到 与 离 去 顾客 数 之 比 即 来 往 服务 强度 ， 当 p>1 即 4>op 时 ,出 
现 供不应求 的 状况 ， 排 队 等 候 的 顾客 越 来 越 多 ， 队 长 将 趋 于 无 穷 。 从 而 对 任何 i j=0, 1， 
wy 总 有 

lim bi(t) = limP(X, = j|Xo = 7) = 0, (84) 
服务 系统 不 能 达到 平衡 稳定 状态 。 当 p<1 即 ;<o 时 ,供过于求 ,服务 能 力 足 以 完成 来 到 
顾客 的 需求 ， 等 待 服务 的 顾客 数 不 会 越 来 越 多 ， 服 务 系统 将 趋 于 稳定 ， 故 有 极限 


lim psC0) ( 一 /Dm) stj = 0,1,*"。 


特别 地 , 在 一 1 即 单个 服务 员 的 情形 下 ， 6 一 一 全 <1 时 ， 由 式 (83) 知 , 这 时 的 平稳 
分 布 为 几何 分 布 : 
mi 一 (一 站 Am 了 一 0,1，…， (85) 
于 是 当 一 顾客 来 到 时 因 服 务 员 空闲 而 立即 得 到 服务 的 概率 为 mw 二 1 一 p， 有 不 少 于 4 位 顾客 
在 服务 机 构 中 的 概率 为 > )m = 2)G 一 p)p' = ,所 以 在 来 往 服务 强度 较 小 时 ， 遇 到 
长 队 的 可 能 性 较 小 。 
由 定理 5 知 ; 对 M/M/C 等 待 排队 系统 ， 当 p<1 时 , 一 位 顾客 来 到 服务 机 构 ， 不 能 立 
即 接受 服务 而 需要 等 待 的 概率 pw 应 该 是 服务 系统 中 队长 处 于 平衡 状态 jE {csc 十 1,…} 的 
概率 ， 即 由 式 (83) 
pr 一 > 一 Dm p= Te (86) 
吕 计 | Zw /kl + w/el(l — p) 


k=0 


在 最 务 机 构 内 的 顾客 总 数 上 (包括 正在 接受 服务 的 与 排队 等 待 服务 的 ， 即 队长 ) 的 均值 
称 为 平均 队长 ， 记 为 了 一 以 一 > 和 。 如 果 只 考 虞 排队 等 待 的 顾客 数 4 即 等 待 队长 ， 而 不 


考虑 正在 接受 服务 的 顾客 数 , 这 时 其 均值 称 为 平均 等 待 队长 , 记 为 b= B= 2 (j 一 Oi。 


j=et+!1 


用 w 表示 顾客 排队 等 待 服务 的 时 间 ，s 表示 顾客 接受 服务 的 时 间 ， 记 w=w 十 s*， 即 w 是 顾 
客 在 服务 机 构 内 总 的 逗留 时 间 ， 那 么 w 的 等 待 时 间 分 布 ,，w 的 恕 留 时 间 分 布 ， 以 及 它们 的 
均值 平均 等 待 时 间 、 平 均 有 逗留 时 间 分 别 依次 记 为 
C2) 一 POW EH), — O20, C0 一 PO 魏 2 一 ce 所 2z 二 co， 
页 ,一 Bw = Bw — Es, W = Bw, 
定理 6 对 M/MN/e 等 待 排队 系统 ,在 6o<1 以 及 上 面 所 作 的 假设 与 记号 下 , 当 系 统 达到 
稳定 状态 后 ， 即 对 充分 大 的 tf, P(X 一 妨 宇和 而 一 0,1……， 别 有 
OD = 一 weL .一 <， (87) 
Stu/ 有 
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u/c! 


聊 一 5 一 一 -一 一 一 -一 了 十 Uo (88) 
2 w/e! + w/ctll — p) 人 
k=0 
w/c! 


(ii) W,=— 


p 

= “To (89) 
1 1— 2 

Dw/kl + w/olll — p) TP 


Wo= w/c! . p ~ +1 (90) 
Std " ? + 
一 0 
证 b= 了 >， (j 一 On 一 Dy inite 一 了 7 
j 一 c 十 1 j=0 j™0 
= "pl 20)' = «a 1 5 《1 一 p)’ 
u/c! , p 
“一 | 1 一 2 
Zh + w/elll 一 及 7 
t=0 


此 式 即 为 式 (87)。 在 上 式 的 推导 中 利用 了 式 (83)。 
应 用 利 特 尔 (Litue) 公式 (参看 文献 【50]) W, = /4 及 式 《87) 即 得 式 (83)。 进 而 
因为 


W = W, + 司 一 WW 十 广 ， (91) 


再 用 式 《89) 即 得 式 ‘90)。 最 后 再 利用 利 特 尔 公式 : 工 二 AW， 以 及 已 证 的 式 (90), 代入 
即 得 式 (88)。 证 完 。 

定理 7 在 M/M/c 等 待 排 队 系 统 中 , 设 o<1, 采 用 与 前 面相 同 的 假设 条 件 与 记号 之 下 ， 
当 系 统 达 到 稳定 状态 后 则 有 等 待 时 间 分 布 
/1 一 pwe—“0, z 之 0， 
\o, z < 0。 
C(z) = p(w Ez) = PGo+ ss 2:) 


0 (2) = POw Sz) 一 (92) 


(一 十 co(C0))》_ 。， pr 


i 十 pp 一 一 2 之 0, 关 cc 一 1， 

本 1— [i+ pruzje *, zz 之 0,u 二 Cc 一 1， 
| 2< 10。 

(93) 


其 中 ps 是 由 式 (86) 所 给 的 来 到 服务 机 构 的 顾客 必须 排队 等 待 的 概率 。 

证 如 果 队 长 :和 <c 一 1, 那么 来 到 的 顾客 立即 可 以 得 到 服务 , 因而 等 待 时 间 w, 二 0。 如果 
队长 >c, 那么 来 到 的 顾客 需要 等 待 /一 c 十 1 位 顾客 服务 完毕 之 后 , 才能 得 到 服务 。 由 于 有 
c 位 服务 员 , 每 离 去 一 位 顾客 所 需 的 时 间 服 从 参数 为 c 的 负 指 数 分 布 , 因而 等 待 时 间 w, 应 
是 :一 o 十 1 个 服从 上 述 负 指数 分 布 的 独立 随机 变量 之 和 , 故 ww 是 一 个 服从 参数 为 /一 c 十 1 和 
的 也 -分 布 的 随机 变量 。 于 是 对 -之 0， 


2 te 
POs Sall=h) = | HEE eo gy, ke, (94) 
o (Ek— ec)! 


利用 式 (83)， 则 有 
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ce—i 


C0) 一 P( = 0)=PUZe—1)= nm 攻 寻 ， 


t==0 


Sm 一 ny = mu/ec!l ll 一 p)。 


bad j=0 
ce—l 
1 = Di Sn = 0,(0) 十 ou/elll 一 六， 
hu) mo 
故 CC0) = 1 — [xou/e!l (1 — p)]。 (95) 


一 般 地 ， 对 z 汪 0， 由 式 (83) 及 式 (94)、(95)、(86) 
C2) = Po 2) = Pow 人 ze 1)+ Pw zl 0) 


=PUSe— 1D) + DPU= IP Ez!= 


kee 


二 C,(0) 十 2x i ey edz 


je 3 (pur)'™° 


kao 
=C, 《0) 十 mp ti et He “em dr 


1 


= C0) + m eri 57 ' os 


— (| 一 oe” ) 
Mou 
cl1Cl — 7p) 

当 zs<0 时 ,，P(w 委 2) 二 0 是 显然 的 。 式 (92) 得 证 。 

由 于 w 与 s 相 互 独立 ，w 十 s 的 分 布 可 由 已 知 的 w 与 s 的 分 布 通过 卷 积 公式 算得 式 
《93) 。 这 里 不 再 详细 推导 。 

由 式 (92) 知 G,(z) 的 形式 是 比较 简单 的 ， 因 此 容易 求 出 w 的 各 种 分 位 数 ， 例 如 对 ?: 
0<?<1，2p -分 位 数 是 满足 下 式 的 值 7,C7) :Ce ) 一 2 。 解 出 此 式 即 得 


(7) = 去 这 "| -| ° 
现在 回 到 例 16 上 ,c= 二 1，p 二 10/16，1/4 二 1/2h， 从 而 4 二 2，%== py 二 5/4。 所 以 
顾客 必须 排队 等 待 的 概率 pw 二 p= 二 5/8。 : 
队长 的 平稳 分 布 (5 一 (1 一 pp 一 证 [ 吾 | ， j= 0 

平均 队长 了 二 p/(1 一 p) = 5/3， 平 均等 待 队长 ,=P/1 一 p=25/24。 
平均 去 留 时 间 WW 一 -cf 一 一 4/3《h)， 平 均等 待 时 间 W = p/4(1 一 p) = 5/6Ch)。 
等 待 时 间 w 的 分 布 CCz) = 1 一 pe oz 之 0。 

逗留 时 间 w 的 分 布 CCz) = 1 一 e-*-” ,2 之 0。 

0. 9 -分 位 数 7,(0.9) = 4/3 In(25/4) = 2. 44(h) 


Plw > 记 ) = pe = 5/8e 2 0, 429 5。 
由 上 面 算得 的 结果 知 ， 每 次 使 用 终端 的 平均 时 间 是 30 min， 但 是 平均 等 待 时 间 却 要 


Nou® 


一 一- mo 1 pv) 
=] tev 二 


一 ] 一 一 人 (Ce 一 内 一 上】 一 pwe “en 


(96) 
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50 min, 并 且 约 有 43% 的 工程 师 的 等 待 时 间 超 过 了 30 min 。 等 待 时 间 的 确 太 长 ,要 求 增加 终 
端 是 合理 的 。 
定理 8 对 M/M/1 等 待 排 队 系 统 , 设 p==4= 二 4 过 1， 当 系 统 达到 稳定 状态 后 , 在 长 为 
7 的 时 间 间 隔 内 (7 值 相 当 大 )， 则 
(iD 人 忙 期 的 总 长 度 及 平均 个 数 分 别 依次 为 
Ts = ZT, Zs) 一 了 全 , C97) 


《ii) 单个 忙 期 的 平均 长 度 为 
1 


Ts(1) = 7 (98) 
(iii》 单 个 忙 期 内 所 服务 的 顾客 平均 数 为 
N(Ts(1)) = 一生 -。 (99) 
A 一 人 


证 正如 定理 5 的 直观 解释 , 对 M/M/1 等 待 排队 系统 , 当 %/4<1 时 ,Xu 就 是 单位 时 
闻 内 来 到 此 服务 机 构 的 全 体 顾客 所 需 的 平均 总 服务 时 间 ， 于 是 在 相当 长 的 时 间 了 内 ， 忙 期 
的 总 长 度 Ts 应 为 TA/4。 

服务 机 构 从 变 为 闲置 状态 开始 直至 新 顾客 到 来 为 止 这 段 时 间 问 隐 即 闲 期 的 总 长 度 就 应 
为 7 一 Ts 一 了 (1 一 4/4)。 而 在 时 间 7 内 ， 闲 期 的 平均 个 数 应 为 

TE = A ND, 

由 于 各 个 忙 期 与 各 个 朵 期 在 时 间 轴 上 是 依次 相间 排列 的 ， 所 以 在 时 间 和 内 ， 忙 期 的 平均 个 
数 亦 应 为 


Z(Ts) 一 和 (1 一 /AD 一 下 
从 而 单个 忙 期 的 平均 长 度 应 为 


CO 
A 


Ta 1 
Z(Ts) 到 一 2 
既然 在 从 期 内 , 每 位 顾客 的 平均 服务 时 间 为 1/4, 那么 单个 忙 期 内 所 服务 的 顾客 的 平均 数 应 
为 


Tl) 一 


Ts(1) A 


定理 证 完 。 
仍 考查 例 16, 取 7 二 24(h) 。 那 么 伦 期 总 长 度 Ts==15 (hn)， 忙 期 平均 个 数 Z(Ts) 
zz [11.25] ， 单 个 们 期 的 平均 长 度 Ta(1) = 4/3Ch) 即 1h20min ， 单 个 忙 期 内 平均 要 为 
NCTB(1)) = 2.7 即 约 3 位 顾客 服务 。 由 此 可 见 该 服务 员 的 工作 量 过 于 繁重 ， 
现在 若 对 例 16 中 的 门市 部 增添 一 个 终端 。 试 问 这 时 的 平均 等 待 时 间 将 是 多 少 呢 ? 显然 
现在 变 成 了 M/M/2 等 待 排队 模型 。 因 c=2， 故 = 5/4，p= 2 不 变 ， 从 而 p 二 5/16。 利 用 
公式 (83) 、(89) 、(86) 、(96) 、(92) 算得 
u = 4/4 = 0,65,。 
上 


= =-8.524，。 
WTF w/a op) 0. 524 
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二 一， * 一 ~: A i 
W, = "0 0. 054 13(h) 3. 248 min 。 


wu 
mm "0 01488. 


TC0.9) 一 InCl0pw) 2 0. 144 5(h) = 8.67 min 。 


1 
24(1— p) 
PO > 子 ) = pre ~"? a 0. 037 6， 


上 面 的 数据 表明 : 因 添 置 一 个 终端 后 , 平均 等 待 时 间 下 降 为 3. 248 min，90% 的 工程 师 其 等 
待 时 间 不 超过 8. 67 min, 而 等 待 时 间 超 过 30 min 的 概率 仅 为 0. 037 6。 服务 质量 得 到 很 大 的 
改善 。 

现在 假定 添置 的 终端 不 放 在 原 门市 部 而 放 在 另 一 新 设 的 门市 部 ， 试 问 使 用 效果 又 会 怎 
样 呢 ? 试 作 一 比较 。 这 时 相当 于 有 两 个 MM/M/1 等 待 排队 系统 , 工程 师 们 可 随机 地 到 这 两 个 
门市 部 中 的 任何 一 个 使 用 终端 。 因 此 对 每 个 终端 而 言 ， 只 是 由 于 顾客 来 到 的 速率 下 降 了 一 
半 , 即 *=5/8 造成 了 一 些 影响 , 如 p= 二 5/16。 其 它 因素 仍 保持 不 变 。 于 是 利用 M/UWZ1 等 待 
排队 模型 公式 同样 可 算得 : 

W, 2 0. 227(h) 2 13. 64 min, T,(0, 9) 2 0. 828 5(h) = 49.72 min。 


Plw > ) ~ 0.157 0, 


当然 还 可 进一步 考虑 3 个 终端 , 4 个 终端 ,… 分 别 放 在 不 同门 市 部 的 情形 , 用 类 似 的 方 
法 计算 得 到 ( 表 8 列 出 ) 的 结果 ， 
表 8 排队 模型 与 相应 的 性 能 值 


模 型 


8. 67 0.037 6 


0. 429 5 
0. 157 0 


由 表 8 中 的 数据 可 以 看 出 : 两 个 终端 集中 在 一 起 使 用 与 5 或 6 个 终端 分 散 使 用 效果 是 相当 
的 。 若 无 特殊 需要 ， 一 般 应 集中 管理 使 用 。 

例 175] 某 航空 公司 计划 建造 一 个 电话 订 票 部 , 现在 要 确定 应 设置 几 个 终端 ? 根据 以 
往 的 统计 数据 , 在 高 峰 时 间 每 小 时 会 有 36 个 订 票 电话 , 假定 其 来 到 是 随机 的 。 每 个 订 票 平 
均 需 用 5 min 时 间 , 又 假定 它 服从 负 指 数 分 布 。 当 所 有 终端 都 忙 时 , 可 请 订户 稍 事 等 修 , 但 
设计 要 求 是 来 到 的 订户 需要 等 待 的 概率 应 不 大 于 0. 05, 即 pw 坊 0. 05, 又 99% 以 上 的 订户 其 
等 待 时 间 不 超过 1 min, 即 7,(0.99) 声 1。 
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倘若 安装 了 “个 终端 ， 那 么 这 便 是 W/U/e 等 待 排队 模型 ， 相 应 的 参数 是 : 2 一 36/60 
一 0.6,4 二 1/5,， 4 二 4/p 一 3。 为 使 p==uf/c 过 1,， 那么 coc 之 3, 有 即 o=4，5，…。 利 用 前 面 的 公式 
可 以 算出 终端 台数 与 相应 的 性 能 数值 ， 其 结果 列 入 表 9 中 。 由 表 9 知 : 为 了 达到 设计 要 求 ， 
需要 安装 8 台 终 端 。 
表 9 终端 台数 与 相应 的 性 能 值 


| 
rm | me | me | 
EN CC EE EE 
EEC NE 
om | on | om | | 


例 18“! 某 交 互 式 计算 机 系统 具有 20 个 终端 ， 每 个 终端 的 平均 思考 时 间 为 3s, 即使 
用 终端 的 人 为 了 思考 和 打 入 语句 和 命令 平均 每 次 所 需 的 时 间 是 3 s, 在 这 段 时 间 里 , 计算 机 
无 需 对 终端 进行 服务 。 中 央 处 理 装 置 CPU 的 处 理 速 度 为 每 秒 50 万 条 指令 ,假定 执行 一 次 命 
令 平均 需要 执行 10 万 条 指令 , 试问 该 系统 的 平均 响应 时 间 , 即 从 发 出 申请 到 获得 回答 的 时 
间 是 多 少 ? CPU 的 利用 率 又 是 多 少 ? 如 果 再 增添 10 台 终端 , 相应 的 性 能 指标 会 有 什么 变化 ， 
这 对 于 我 们 有 何 启示 。 
若 将 中 央 处 理 装 置 CPU 看 作 是 服务 员 , 将 终端 看 作 是 顾客 , 因为 只 有 20 台 终 端 , 所 以 
可 能 来 到 的 顾客 是 有 限 的 ， 最 多 为 =20 个 ， 该 服务 系统 所 能 容纳 的 最 大 顾客 数 也 是 
下 二 20, 而 服务 员 个 数 一 1。 假 定 请 求 服务 的 终端 是 按照 参数 为 X> 0) 的 普 阿 松 过 程 随机 
来 到 的 。 又 CPU 对 终端 的 服务 时 间 是 服从 参数 为 K&> 0) 的 负 指 数 分 布 的 随机 变量 ,终端 
的 思考 时 间 是 服从 参数 为 x(> 0) 的 负 指 数 分 布 的 随机 变量 , 那么 例 18 所 述 的 问题 就 可 看 
作 是 一 个 一 般 以 /M/C/K/K 等 待 排队 模型 在 c 一 1， 开 一 20 的 情形 ， 而 且 
] 100 000 


x 500 000 
为 了 回答 例 18 的 提问 , 先 作 一 般 性 讨论 , 记 XX, 为 时 刻 ! 正 由 CPU 进行 服务 以 及 排队 等 
待 服 务 的 终端 总 台数 , 仿照 对 M/M/e 等 待 排 队 模 型 或 例 12 的 讨论 , 可 证 {Xt 过 0} 也 是 
生 灭 过 程 。 而 县 在 它 的 密度 矩阵 的 元 素 中 ， 
人 5 一 0.1,……, 有 一 1， 


= 0.2Cs)， 二 = 3(s) 。 


位 j= 1,2，…c， (100) 
L Ch, 7 三 0c 十 1, 信 。 


它 具 有 平稳 分 布 (参看 式 〈62)、(63) ) : 


FN 2 Se [< 
0 -Le 二 oC i A 


人 


A clce™® 
/ ji 
ol | mp, j= le, (101) 
”7 ， 2! f oli 
Cx zc 了 | T0y J 一 CC 十 1，……。 


由 此 进一步 可 以 计算 系统 处 在 稳定 情况 下 的 平均 等 待 队 长 和 平均 等 待 时 间 W,;: 
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1 ， 1 
= Won W, = < 二 (102) 
A ’ 人 ”KL ° 
等 等 。 特 别 地 ， 在 c=1 时 ， 可 得 下 列 简洁 的 公式 ， 
EK! a ~ 
"= [> mi 上 ” 
站 ， (103) 
p 一 和 一 1 一 M10， 4 一 pp 一 (] — mo) Lo (104) 
进而 计算 平均 队长 IL， 由 式 (103) 
EK! /ao i 
L= 2 De (一 7 To0。 (105) 
为 了 使 下 面 的 推导 简洁 起 见 
a a 12 .天 -Yay 
z=! "= RT j= 1,2,…,K, 1 = Zam, (106) 
于 是 利用 式 (103) 、(104)、(105)、(106) 容易 验证 
lf = . 克 (z) 
mTTFIG’ TFA 7 TF 
L422=- 人 1 ll [af Ca + £2 C107) 


名 1 十 fGz) zCQl 二 fC) 1 7 了 (2) 
然而 由 式 (106) 
zf! (2) 二 QZ 十 2a2z22 十 8 十 jj 他 十 ‘0 十 (KR 一 1)axr_iz*™! 十 Faxz”*, 


£2 二 十 gz 十 十 jt 十 十 ar!， 
故 of 加 十 丰 一 下 十 (十 oz 十 入 十 (和 十 az 十 …… 十 ae。 《108) 
注意 到 
n= 这 =， 
jt om = jt i + th i 区 = 区 + 
= KR = Ke 5 一 1 下 一 1。 


代入 式 (108) 中 ， 即 得 


zf' (z) 十 姜 2 2 =K+ Kazst Kas + Kaxsr = K(f(2)), 
将 此 式 代入 式 (107) 中 ， 便 有 
L+ 人 =k, 或 L=K 一 毕 。 (109) 
由 式 (88) 与 式 (104) 易 得 


| 一 

| 一 

~ 一 -一 
号 


=L 一 p 一 一 毕 一 p 一 下 一 4 小 《110) 


再 利用 利 特 尔 公式 及 W 二 Ws 十 1/4 得 
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一 二 = 五 -上 
多 一 芝 一 于 一 了 。 (111) 
We=w- t=£t-_-l1_l 

4 A a n° (112) 


由 此 可 见 式 (102) 成 立 。 
现在 回 到 例 18， 利 用 公式 (103)、(104) 及 (111) 可 以 算得 (c= 1,K = 20,¢x = 5， 
a = 1/3) 
m= 0.0456, p=1—m= 0.9544, 4= pp = 4.772, 


-££_ 1 .20 _ ~ 
W= 人 一 31 191(s)。 


倘若 增添 了 10 台 终 端 , 则 终端 总 数 天 变 成 30, 其它 的 数据 仍 保持 不 变 , 即 c=1, p=5， 
a 三 1/3， 利 用 同样 的 公式 算得 
jzo = 0.00 022 118,p = 0,99 977 882,4= 5,W = 3(s), 
由 此 可 见 ， 增添 了 10 人 台 终 端 对 CPU 的 利用 率 仅仅 提高 了 0.0 454, 不 到 5% ， 但 却 使 响应 
时 间 从 1. 19 s 猛 升 到 3s, 增加 了 151.9%, 因此 在 目前 的 场合 下 , 增添 10 台 终 端 是 不 可 取 
的 , 例 18 表明 ; 终端 并 非 越 多 越 好 , 应 当 根 据 用 户 的 需求 情况 及 CPU 的 处 理 速度 等 因素 来 
优化 确定 其 台数 。 
下 面 再 来 介绍 马尔 科 夫 排队 网 络 及 其 应 用 。 由 多 个 排队 服务 系统 按 一 定 方式 组 合 为 一 
个 更 复杂 的 总 的 排队 服务 系统 这 便 构 成 一 个 排队 网 络 。 所 谓 马 尔 科 夫 排 队 网 络 是 指 从 网 络 
中 各 排队 服务 机 构 的 外 部 来 到 该 服务 机 构 的 顾客 ， 其 时 间 是 按 普 阿 松 过 程 来 到 的 ， 而 且 各 
服务 机 构 对 顾客 的 服务 时 间 都 是 服从 负 指 数 分 布 随机 变量 的 排队 网 络 。 相 对 于 排队 网 络 而 
言 ， 若 顾客 既 可 以 自 该 网 络 之 外 来 到 ， 又 可 离开 该 网 络 而 去 ， 称 这 样 的 排队 网 络 为 开 排队 
网 络 。 车 相对 于 排队 网 络 而 言 ， 既 不 允许 顾客 离开 ， 也 不 允许 顾客 从 外 进入 ， 在 网 络 里 顾 
客 总 数 保持 一 常 值 不 变 ， 则 称 之 为 闭 排队 网 络 。 下 面 不 加 证 明 地 给 出 两 个 定理 ， 它 们 在 解 
决 马尔 科 夫 排队 网 络 问题 中 是 有 用 的 。 
定理 9 设 开 马 尔 科 夫 排队 网 络 由 图 个 以 /Me 的 排队 系统 组 成 。 对 i=1，…,， 入， 第 
i 个 排队 系统 有 “ 个 服务 员 , 各 个 服务 员 的 工作 相互 独立 。 对 顾客 的 平均 服务 时 间 都 为 1/A，. 
显 客 依照 参数 为 的 普 阿 松 过 程 从 网 络 外 部 来 到 第 ;个 排队 系统 。 对 任何 各 j 一 1，…，W， 
在 第 ;个 服务 机 构 服 务 完 毕 的 顾客 以 概率 mw 到 第 :个 服务 机 构 排 队 等 待 服务 ， 以 概率 
1 一 2 离开 整个 排队 网 络 。 记 丈 为 顾客 来 到 第 ;个 服务 机 构 的 总 平均 到 达 速 率 , 即 顾客 
从 网 络 之 外 来 到 网 络 中 第 ;个 服务 机 构 的 到 达 速 率 » 与 从 网 络 中 其 它 服务 机 构 来 到 第 i 个 
服务 机 构 的 所 有 到 达 速 率 之 总 和 ， 则 大， 二 1，…，W 满足 方程 组 ， 
5 = 六 十 jin， i= 1 ,N。 《113) 
如 果 用 4G = 1,…，,N) 分 别 表示 排队 网 络 达到 稳定 时 第 ;个 排队 系统 的 队长 ， 则 在 和 
<em，i 王 1，…，X 的 条 件 下 ， 对 任何 所 ， 己 ，…， 心 王 0，1，…， 有 
POU = ks = by ly = ky) = POU = hb)P( = ba)P(y = hy), (114) 
其 中 PG ==)G = 1,…, 入 ) 是 相应 参数 为 入 ,的 放 /MM/ei 等 待 排队 系统 中 队长 的 平稳 分 
布 。 
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可 以 对 定理 9 作 以 下 的 直观 说 明 ; 在 由 六 个 邓 / 对 /ci 1 …， 有 排队 鞭 统 构成 的 可 
尔 科 夫 网 络 中 , 如 果 对 每 个 i=1,…, NW, 把 先后 到 达 第 i 个 服务 机 构 的 由 有 顾客 全 在 一 起 ， 
都 看 成 是 强度 为 元 的 普 阿 松 输入 过 程 ， 那么 每 个 服务 机 构 都 是 独立 的 ， 从 竹 整 个 排队 网 络 
在 稳定 情形 下 的 状态 概率 应 是 每 个 排队 系统 在 稳定 傅 形 下 相应 状态 概率 的 情 积 ， 这 正 是 式 
《114) 的 含义 。 

对 每 个 1:=1,…, 访 , 来 到 第 i 个 服务 机 构 的 总 的 顾客 输入 过 程 之 所 以 是 兽 阿 松 过 程 可 
解释 如 下 : 

Gi) 从 排队 网 络 外 部 来 到 第 ;个 服务 机 构 的 顾客 输入 过 程 是 普 阿 松 过 程 ; 

Qi) 对 于 M/M/e 等 待 排队 系统 ， 顾 客 输入 过 程 是 普 阿 松 过 程 ， 输 出 也 是 普 阿 松 过 程 ， 
普 阿 松 过 程 的 子 过 程 也 是 普 阿 松 过 程 ， 因 而 由 此 流入 其 它 排队 服务 机 构 的 顾客 也 形成 一 普 
阿 松 过 程 ， 

《iii) 独立 的 普 阿 松 过 程 之 和 仍 是 普 阿 松 过 程 。 

综合 以 上 理由 ， 便 知 来 到 每 个 服务 机 构 的 顾客 输入 过 程 是 普 阿 松 过 程 。 

定理 10 设 闭 马 尔 科 夫 排队 网 络 由 六 个 M/M/e 的 排队 系统 组 成 。 对 每 个 i=1,… ,NN， 
第 ;个 排队 系统 有 ci 个 服务 员 , 各 个 服务 员 的 工作 是 相互 独立 的 , 对 顾客 的 平均 服务 时 间 都 
为 ImA。 排队 网 络 中 共有 天 位 顾客 , 它们 只 在 这 六 个 排队 系统 之 间 转 移 , 不 能 走出 网 络 , 网 
络 之 外 也 无 顾客 来 到 。 对 ;和 1，…，Y， 记 "为 在 第 ;个 服务 机 构 服 务 完毕 的 顾客 转移 
到 第 5 个 最 务 机 构 等 待 服务 的 概率 , 记 天 为 顾客 来 到 第 ;个 服务 机 构 的 总 平均 到 达 速 率 , 则 
入 、i 二 1，…， VW 满足 方程 组 : 


Nn 
元 一 > 和 ri bb 1,",N, 《115) 
j= 


仍 记 4G = 1,.… ,六 ) 为 排队 网 络 达到 稳定 时 第 ;个 排队 系统 的 队长 ， 则 在 网 络 达到 稳定 后 ， 
对 于 A= {(k sk2,*"* ky) ba 2 0,k, 十 天 十 … 十 ky 一 KK} 中 的 任何 向 最 Ce kz ye, 
&) 有 


BA 
1 ii 
PU = hd = hssly = ky) = sew ll Fk) (116) 
其 中 ， Zi t= 1] , NV 是 下 列 线性 方程 组 的 解 : 
» 
z= Dr = 1 NN, (117) 
j=1 
5 末世 
G(K,N) = x (118) 
Gs Eh i BCk) 
(6) L ho ly (119) 
iKki 二 t= Ilr"**yivo 
4 Clch 2 kk 之 Cis 


有 了 队长 的 平稳 分 布 式 (116) 后 ,由 此 就 可 计算 出 平均 队长 与 平均 等 待 时 间 等 等 性 能 指 
标 。 

例 19 在 由 图 1 二 阶段 循环 排队 模型 所 描述 的 多 重 程 序 的 计算 机 系统 中 , 假定 到 达 规 
律 是 遵循 到 达 速 率 为 4 的 普 阿 松 过 程 ,中 央 处 理 机 ,输入 输出 器 的 服务 时 间 分 别 依次 服从 参 
数 为 mm、p 的 负 指 数 分 布 。 到 达 的 程序 在 中 央 处 理 机 处 排队 等 待 服务 ,一旦 处 理 完毕 ,该 
程序 以 概率 ?离开 系统 或 以 概率 1 一 p 转 到 输入 输出 器 处 排队 等 待 服务 。 当 程序 在 输入 输出 
器 处 服务 完成 后 ， 便 再 回 到 中 央 处 理 机 处 排队 ， 重 复 进 行 这 种 循环 直到 该 称 序 的 全 部 操作 
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图 1 二 阶段 循环 系统 

完成 为 止 。 这 里 假定 等 待 空间 是 无 限 的 。 显 然 ， 此 系统 是 开 马 尔 科 夫 排队 网 络 。 如 果 已 知 
以 下 具体 数据 : 平均 一 个 程序 需 占 用 中 央 处 理 机 4s， 由 于 中 央 处 理 机 的 输入 或 输出 需要 
0. 25 s 中 断 一 次 ; 输入 输出 器 平均 服务 时 间 是 0. 2 si 计算 机 每 天 工作 10 h, 平均 完成 8 000 
个 程序 。 试 求 : 

(i) 中 央 处 理 机 、 输 入 输出 器 的 服务 强度 ， 

(ii) 中央 处 理 机 处 的 平均 程序 数 ， 

(iii) 输入 输出 器 处 的 平均 程序 数 ， 

(iv) 排队 网 络 的 平均 程序 数 ， 

(v) 计算 机 的 平均 响应 时 间 。 

在 该 系统 已 达到 稳定 的 状态 下 ， 用 黎 、 知 分别 依 次 表示 中 央 处 理 机 、 输 入 输出 器 的 总 
平均 到 达 速 率 ， 由 定理 9 及 式 (113)， 并 注意 到 在 这 里 yi 二 人 人， yz 二 0， 7 一 722 一 0，7i2 一 一 
2Z，72 一 1， 则 有 


入 一 和 十 和 
Nh 一 (1 一 PA, 
故 解 得 和 = 地， 元 一 外 二 2 (120) 


记 pt.、pz 分 别 依次 为 中 央 处 理 机 、 输 入 输出 器 的 服务 强度 ， 又 注意 到 这 里 ol 二 co 二 1， 于 是 
由 式 (120) 得 


(121) 


利用 已 给 的 数据 ，? 二 8 000/36 000=2/9 〈 个 /s) 。 完 成 一 个 程序 平均 需 中 断 次 数 是 4/0. 25 
二 16 (次 )， 因 此 zy=17/16。 又 1/m=0.25 (s)，1/p1z= 二 0.2 (Cs)， 于 是 由 式 (120) 与 式 (121) 
得 到 问题 G) 的 解答 : 


7 2 32, 人 i _ 15 、32 _10, 个 
及 二 16X 可 三 河 ( 个 /S)， 元 = 语义 可 一 了 (个 /3) 
32_ 1 8 _10 .1_2 
n=-TFX7™g<1! m=- X31 


现在 的 中 央 处 理 机 、 输 入 输出 器 实际 上 都 是 M/M/1/~ 等 待 排 队 系 统 ， 用 PU 一 局 )， 
k= 0, 1 与 Pl 一 kz ) ,kz = 0，1，… 分 别 依次 表示 它们 的 队长 的 平稳 分 布 ， 由 式 (85)7 知 
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P(0 一 四 ) 一 (1 一 pi)p'! 一 可 和 | 
1 (1227) 
3 


Pa = hb) = (1 pp w=- M 
根据 定理 9 中 的 式 (114) 可 得 整个 网 络 的 平稳 分 布 为 
PO 二 6 二 权 ) = (一 站 让 (1 一 由) 应 一 本 [下 | 


1 志 [ 吨 |， hi ,天 2 一 0,1 ro 
《123) 
由 式 (122) 可 算出 在 系统 达到 稳定 状态 下 中 央 处 理 机 与 输入 输出 器 处 的 平均 队长 即 平 
均 程 序数 如 下 : 
Bl 一 >) 有 (1 一 pp 一 《1 一 oopoif Bo) 
bb n= 
ni 


这 | Tp (124) 


一 (1 一 pp 
同 理 
Bl = ， (125) 


将 数据 代入 式 (124)、(125) 中 ,得 轧 =8 个)， b= 二 2 (个 )。 于 是 整个 网 络 的 平均 队长 即 
平均 程序 数 为 


El= B+ B=8++2= 10, (126) 
利用 式 (121)、(124)、(125) 及 利 特 尔 公式 便 得 计算 机 平均 响应 时 间 妈 平均 等 待 时 间 
BU) 上 (1 — 2p) 


W= Bw = ~ = 一 一 一 一 一 ， 
“ 4 pli-—p) phall— p) 


代入 数据 让 一 10/[ 针 | =45 人)。GD 一 (iv) 的 提问 全 部 解答 完毕 ， 由 此 看 出 ,对 于 一 
程序 平均 用 机 时 4 s， 而 需 用 输入 输出 器 15 次 ， 每 次 平均 用 机 时 0.2 s， 共 用 机 时 15x 0.2 
=3 s， 但 响应 时 间 是 45 s 的确 太 长 了 。 

对 例 19 中 给 出 的 网 络 , 车 限定 网 络 中 的 猩 序数 始终 保持 为 K， 当 一 个 程序 完成 时 ， 立 
刻 有 一 个 程序 进入 网 络 系统 并 在 中 央 处 理 机 处 授 队 ， 这 样 该 网 络 就 可 看 成 是 一 亲 网 络 。 利 
用 定理 10 可 以 算出 该 网 络 系统 达到 稳定 状态 时 的 队长 的 联合 分 布 , 中 央 处 理 机 ,输入 输出 
器 的 服务 强度 ， 一 个 程序 的 平均 响应 时 间 等 等 。 所 得 的 具体 结果 与 详细 的 推导 过 程 参看 广 
献 [50]， 这 里 不 再 列 出 。 

保证 计算 机 系统 正常 运转 不 出 现 故障 当然 是 人 们 最 关心 的 实际 问题 ， 常 用 来 刻画 系统 
这 一 性 能 的 指标 是 可 靠 度 函 数 或 可 靠 度 RC) ,4 之 0，RCD) 表 示 在 时 间 段 [0，4] 内 计算 机 系 
统 未 出 故障 正常 工作 的 概率 。 也 可 采用 叫做 可 用 度 的 性 能 指标 ， 对 指定 的 时 刻 (之 0)， 系 
统 在 1 时 处 于 正常 运转 状态 的 概率 4(0) 称 为 系统 在 时 刻 :的 盟 时 可 用 度 。 车 极限 lm 4(0) 存 
在 , 记 为 4, 则 称 4 为 该 系统 的 稳 术 可 用 度 , 它 表示 该 系统 在 长 期 运行 的 时 间 进 程 中 , 大 约 
有 比例 为 4 的 时 间 里 系统 是 处 在 正常 运转 的 状态 。 

例 20 设 某 大 计算 机 系统 是 由 Y 个 子 系统 组 成 ， 对 1，…，N， 第 ;个 子 系统 的 正 
常 工作 时 间 服从 参数 为 入 (> 0) 的 指数 分 布 。 一 旦 出 现 故 障 , 即 进行 修理 , 修复 的 时 间 直 服 
从 参数 为 w(> 0) 的 指数 分 布 的 随机 变量 ,修复 后 即 继续 进行 正常 工作 。 各 个 子 系统 的 运行 


(127) 
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状况 是 相互 独立 的 。 试 求 整 个 大 计算 机 系统 的 稳 态 可 用 度 。 先 作 一 直观 解释 . 由 假设 第 ;个 
于 系统 平均 正常 工作 的 时 间 为 1/ 和 ,平均 修复 时 间 为 1/4， 因此 ,一 个 工作 -修复 周期 的 平 
均 长 度 为 1/% 十 1/ww， 从 而 其 中 工作 时 间 所 占 的 比例 为 


A 

I 二 十 
这 就 是 第 ;个 子 系统 的 稳 态 可 用 度 , 再 由 独立 性 假设 , 那么 整个 系统 的 稳 态 可 用 度 , 即 每 个 
子 系统 部 在 正常 工作 的 概率 应 为 rw 一 了 wx 十 点 。 


下 面 再 给 出 严格 的 论述 。 为 简便 起 见 只 对 N 一 2 的 情形 进行 讨论 。 以 “0” 表 示 两 个 子 
系统 均 在 正常 工作 的 状态 , 以 “1” 表 示 第 一 个 子 系统 失效 修理 , 而 第 二 个 子 系统 正常 工作 
的 状态 ,以 “2” 表 示 第 一 个 子 系统 正常 工作 ,而 第 二 个 子 系统 失效 修理 的 状态 ， 以 “3” 表 
示 两 个 子 系统 均 在 失效 修理 的 状态 。 若 以 X. 表示 在 时 刻 i 整个 系统 所 处 的 状态 , 则 {X,, 
之 0) 是 具有 上 述 四 个 状态 的 马 氏 链 ， 其 密度 矩阵 为 


一 《十 和 jz) 加 知 0 1 
入 一 《让 十 知 ) 0 A ; 
“一 iz 0 一 (Hp 十 入) A (128) 
0 Hz A — (p+ pj2) 
于 是 平稳 分 布 应 满足 的 方程 组 是 


(和 十 加 )%0 二 p21 十 jz22， 
(Chi 二 ja)z = Nz0 二 jizzs, 


(129) 
(pe 十 和 za = jzo 十 jzs, 
《CU 十 如 )ma = hz 二 Nzzo 
容易 求解 此 方程 组 得 
= 2 一 各 ap， 和 一 和 ja。 (130) 
3 
由 Na = CN 十 加)( 因 十 各) 便 得 平稳 分 布 : 
j=0 
pn = Nm 
0 (加 十 如 jC 因 十 2) ' (入 十 jj)Ch 二 pz) 
Ts = eh ms = (131) 


十) 十 pa) N° 
故 要 求 的 稳 态 可 用 度 为 mm = my/ 十 J) (入 十 1w) 。 于 是 对 一 般 的 入 ， 系统 的 稳 态 可 用 
度 为 


No 二 I i 人- (132) 
值得 提醒 读者 的 是 由 式 (128) 知 ，{X，l 实 0} 不 是 生 灭 过 程 。 
应 用 马 氏 链 建 立 相 应 的 可 掌 性 和 可 用 性 模型 。 并 计算 出 它 的 一 些 可 靠 性 指标 ， 对 此 已 
有 不 少 专著 (如 文献 [51]、[52])》 作 了 介绍 。 总之, 目前 马 氏 链 理论 已 经 成 为 分 析 研 究 计 
算 机 系统 的 基本 数学 工具 之 一 (参看 文献 [53]、[54]) 。 


TY ot 


Ett I > 


- 
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$5 马尔 科 夫 链 在 物理 学 与 化 学 中 的 应 用 


1， 马尔 科 夫 链 在 物理 学 中 的 简单 应 用 


马尔 科 夫 过 程 理论 的 发 展 与 物理 学 中 的 扩散 过 程 、 放 射 现 象 、 布 朗 (Brown) 运动 的 研 
究 是 密切 相关 的 。 马 氏 过 程 在 物理 学 中 的 应 用 不 仅 已 有 很 长 的 历史 ， 而 且 是 多 方面 的 。 至 
今 两 者 之 间 仍 然 保持 着 互相 促进 共同 发 展 的 趋势 。 

例 21 设 有 X 个 气体 分 子 ， 因 受 射线 作用 而 可 能 电离 ， 一 个 分 子 电离 的 强度 为 
XC> 0)。 另 一 方面 ， 也 可 能 有 正 离子 和 负离子 复合 成 中 性 分 子 ， 一 个 正 离子 的 复合 强度 为 
A> 0.。 对 心 0 记 闷 为 时 刻 ! 含 有 正 离子 的 个 数 ( 正 离子 的 个 数 与 负离子 的 个 数 相同 )。 显 
然 (大 ， 过 中 是 状态 空间 为 (0，1，…，Y} 的 齐 次 马 氏 链 ， 而 且 Xe 一 0。 

对 任何 状态 ;一 0，1，…，Y 一 1， 从 状态 ;到 状态 计 1 的 转移 强度 应 等 于 一 个 中 性 
分 子 中 有 一 个 被 电离 的 强度 , 即 应 为 (N 一 D% 。 对 任何 i= 1, …，N,， 从 状态 ;到 状态 ;一 1 
的 转移 强度 是 i 个 正 离子 中 有 一 个 被 复合 了 的 强度 ， 因 此 应 等 于 浆 。 于 是 密度 矩阵 为 


— NA NA 0 oo. oo 0 
x 一 [+ 一 DC 一 DA， “0 “+ 0 
© = . er. ws os eps so 
(一 Du 一 [EN 一 DT 十 人 A 
0 Na 一 NA 
(133) 


由 式 (133) 平 稳 分 布 L[m，zm ，…，mw] 应 满足 的 方程 组 为 


NA7o = PUT1， 
fe — Aiplm = AN i+ Dm G+ Damn 一 1 一 1， (134) 
Nj 一 My-ie 
由 式 (134) 的 第 一 式 得 zw 二 NG/p)me 。 将 此 结果 代入 式 (134) 中 的 第 二 式 得 
[CY — DA pr = Nam 十 2prz， 


Nz 二 we D+ j 王 一 wm] 
-| 引 val 
如 同上 面 两 式 ， 逐 步 递 推 下 去 ， 一 般 可 得 
N= OY 二 |] mm， i= |] ,NV, (135) 


将 式 (135) 代 入 方程 组 (134) 中 验证 确实 成 立 。 
其 次 ， 由 式 (135) 得 
1 一 71 十 万 十 … 十 Tv 
pi » 


~ 
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从 而 


N 


一 + . 
Wi 


. 天 vy (136) 
-0 | A . t= 1 ,NN 

一 元 人 ? 1， No 

这 就 表明 该 马 氏 链 的 平稳 分 布 是 具有 参数 为 志和 的 二 项 分 布 


例 22 分 支 过 程 可 以 近似 地 作为 原子 核 连锁 反应 以 致 发 生 爆 炸 的 数学 模型 。 一 个 中 子 
与 其 它 质点 之 间 的 相互 随机 碰撞 ， 或 受到 其 它 射 线 的 变 击 ， 每 隔 一 个 单位 时 间 ， 它 将 分 裂 
成 多 个 中 子 ， 产生 + 个 中 子 的 概率 记 为 g:，# 二 1,2,…，go 是 一 个 中 子 没有 裂变 而 漂 灭 的 概 
率 。 假 定 各 个 中 子 的 裂变 和 情 品 是 相互 独立 的 ， 并 具有 同样 的 概率 规律 ， 即 每 一 个 中 子 裂变 
出 新 的 中 子 数 都 是 一 个 随机 变量 ， 而 且 这 些 随 机 变量 是 相互 独立 的 ， 并 具有 共同 分 布 [go， 
9， …]。 以 式 , 记 在 原子 核 连锁 反应 进程 中 于 时 刻 的 中 子 数 ， 初 始 的 中 子 数 为 Xe 一 :之 1。 
那么 {X.，#=0，1，…} 就 是 例 6 中 所 定义 的 离散 参数 的 分 支 过 程 。 


车 记 4= th， 即 “为 一 个 中 子 经 一 次 裂变 产生 的 中 子平 均 数 。 又 记 上 “一 EX， 一 1， 
2，… 为 上 时 刻 参 加 连锁 反应 的 中 子平 均 数 。 由 定理 1 知 : 六 一 砍 ，? 一 1，2，…， 渤 1]，2， 
…。 由 此 可 见 当 p>1 而 且 其 值 较 大 时 ,同时 i 也 较 大 时 ， 那么 在 很 短 的 时 间 内 将 裂变 产生 
出 大 量 的 中 子 数 从 而 导致 爆炸 。 

例 23 为 研究 一 确定 容器 内 气体 分 子 间 的 热传导 现象 , 在 第 一 章 的 例 2 中 给 出 了 爱 伦 
非 斯 特 模型 。 其 实 ， 它 就 是 状态 空间 为 { 一 Y，…， 一 1，0，L，…，Y) 的 齐 次 马 氏 链 {X 
=0，1，…}， 它 的 一 步 转移 概率 矩阵 是 


| 0 1 0 0 ..。 .。 .。 ee .。 .0 
1 1 
3y Ol sr 0 oo ee ‘ ,0 
- 1 ol 
P=|0 0 去 | 1 十 广 | 0 言 | i) 0 0 
1 1 
0 .， ‘01-3 0 37 
0 oe a oe ,0 0 1 0 
(137) 


由 式 (137) 知 状态 空间 中 的 任何 两 个 状态 痢 是 互通 的 ，{X,, 4 二 0， 1，…}) 是 一 个 不 可 分 、 正 
常 返 、 非 周期 马 氏 链 ， 必 存在 唯一 的 平稳 分 布 。 由 式 (137) 及 了. 式 (29), 平稳 分 布 应 满足 
下 面 的 方程 组 : 
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1 


ZN 一 TO N+i 
2N 十 1? 


1 
ZN+1 二 ZN 十 一 -2_w+?， 
N 


9 


1 一 1 1 4 十 1 
== 了 1- -人 -+ 去 (+ 和 Stl? (138) 
1 
Zy-! 一 -2 十 Zy， 
1 
ZN 二 2N ZN—1o 
故 
ZN+! 二 2NVz_xw， 
2Z-x42 = Nz-x+i 一 Ac 一 NGC2N 一 1)2-v， 
i 2N Mi+l, 一 十 LV 一 (139) 


一 六 于 1 132 Nii 


1 
DN “M1e 
由 式 (139) 知 : z-w+1 可 由 -> 表示 ,利用 此 表示 式 推出 -y+z 也 可 由 -x 家 示 ， 如 此 逐步 递 推 


地 得 到 z_w4s，…，z0; 加，…， zy-1， zy 都 可 由 2-» 表 示 的 式 子 ， 然后 利用 a=1， 便 可 解 
出 z-x 的 值 ， 进而 得 ZN+1? Cyt2s 9 S09 Ly ry ZN» ZN 的 值 ， 这 就 是 要 求 的 平稳 分 布 。 

例 24 考查 一 个 与 外 界 相通 开放 的 容器 内 某 种 物质 分 子 的 变迁 。 设 在 单位 时 间 内 ， 容 
器 中 的 每 个 分 子 都 是 以 概率 (> 0) 留 在 容器 内 , 以 概率 4 = 1 一 内 > 0) 逸 出 , 与 此 同时 ， 
又 有 新 的 分 子 从 容器 外 进入 该 容器 内 ,而且 进 入 的 新 分 子 数 是 服从 参数 为 (> 0) 的 普 阿 松 
分 布 。 假 定 各 个 分 子 的 运动 都 是 相互 独立 的 。 记 X, 为 上 时 刻 容器 中 分 子 的 总 数 。 显 然 ,下 
一 个 单位 时 刻 容器 内 的 分 子 数 只 取决 于 现在 容器 内 的 分 子 数 及 新 进入 的 分 子 数 ， 而 与 以 前 
容器 中 的 分 子 数 无 关 。 因 此 {X,，xz=0，1，…} 是 马 氏 链 ， 状 态 空间 为 {b，1，2，…)}。 假 定 
此 链 是 齐 次 的 。 

下 面 将 给 出 一 步 转移 概率 zi，i， 和 0，1，…。 若 X=i， 假设 在 容器 内 现 有 的 i 个 分 
子 中 有 上 个 留 下 , 而 有 i 一 k 个 分 子 逸 出 , 那么 要 使 X41 二 j, 必须 要 有 j 一 个 新 的 分 子 进入 
容器 ,容易 看 出 应 有 k<i，4<j， 所 以 + 的 变化 范围 是 从 0 到 min(i' 7)。 既 然 假定 了 各 个 分 
子 的 运动 是 相互 独立 的 ， 因 此 有 

Pii 一 Sa a or j= 0, (140) 
有 关 马 氏 过 程 在 物理 学 中 应 用 的 更 加 深入 更 加 详实 的 材料 可 参阅 文献 [13]、[55]。 
2， 马 尔 科 夫 链 在 化 学 中 的 简单 应 用 


在 探讨 化 学 反应 速度 、 影 响 反 应 速度 的 主要 因素 以 及 各 种 化 学 反应 的 机 理 时 ， 考 查 各 
种 化 学 反应 物 在 i 时 刻 的 浓度 , 即 定量 体积 内 的 分 子 数 , 确定 这 些 浓度 的 概率 分 布 时 , 马 氏 


ZzZy 一 
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链 是 常 要 采用 的 数学 模型 。 

例 25 ”一 级 单 分 子 化 学 反应 可 表示 成 如 下 的 形式 ， 

4 ~ 一 卫 。 

反应 物 4 不 可 道 地 转化 为 生成 物 中 , 已 知 的 正常 数 对 是 化 学 反应 率 。 现 在 建立 它 的 随机 数学 
模型 .对 任何 ! 宇 0, 记 随机 变量 X, 为 反应 物 4 在 时 刻 ! 的 浓度 ,并 令 加 一 io>0, BCb = P(X 
一 力 ， 和 一 0，1，…，io， 广 (为 表示 在 时 刻 上 反应 物 4 的 浓度 为 了 的 概率 。 根 据 单 分 子 化 学 反 
应 的 物理 性 质 ， 可 作 下 列 理想 化 了 的 假定 : 

(i) 在 区 间 (0, 忆 内 恰好 发 生 了 i 一 ?次 转化 ， 即 在 上 时 刻 4 的 浓度 X. 等 于 ;的 条 件 下 ， 
在 (t,t 十 A) 时 间 区 间 内 ，4 的 j 个 分 子 中 发 生 了 一 个 转化 的 概率 为 hjAt 十 oCAl) ; 

(ii) 在 (tt 十 如) 时 间 区 间 内 ， 发生 二 个 及 二 个 以 上 的 分 子 转化 的 概率 为 co(At) ， 

GD) 在 (上 十 40) 时 间 区 间 内 ， 4 的 7 个 分 子 都 没有 发 生 转 化 的 概率 为 
1 ~— kjAt + vo(AL), 

(iv) 出 现 逆反 应 8->4 的 概率 为 零 

《v) 反应 物 4 中 分 子 的 活动 状况 与 生成 物 刁 中 分 子 的 活动 状况 是 相互 独立 的 。 

在 上 述 的 假定 下 ， 利 用 全 概率 公式 可 写 出 p(t 十 A) 的 表达 式 ， 进 而 推导 出 p;() 应 满 
足 的 差分 微分 方程 组 : 


2 =— pFEGF Do j= 0 — 1 
14 
dm) ， 44) 
nr =~ kiopi, Ct). 
初始 条 件 应 为 
1» 了 二 io, 
(0) = (142) 
7 0 ， 了 天 加 。 


方程 组 (141) 实 际 上 是 第 八 章 中 所 考虑 的 纯 灭 过 程 的 绝对 概率 函数 应 满足 的 方程 , 解 此 方程 
组 (141)、(142) 得 : 


pi(t) 一 CU eiot[ eu 一 1 9， 7 一 0,1,",io i 之 0。 _ (143) 
还 可 算得 在 上 :时刻 4 的 浓度 的 平均 值 与 方差 分 别 依 次 为 - 
BX, = je DX,= ioe*[l ~ en"*],， ti 守 0。 (144) 


例 28 由 两 个 分 子 结合 生成 一 个 新 的 分 子 的 化 党 反应 称 为 双 分 子 化 学 反应 , 辟 如 一 种 
由 两 类 分 子 4 和 8 组 成 的 液体 ， 反 应 物 4 的 一 个 分 子 与 反应 物 8 的 一 个 分 子 相互 碰撞 后 ， 
以 概率 1 生成 一 个 新 的 百 分 子 , 可 表示 旺 4 十 B-> 如 的 形式 , 设 随机 变量 X,(1)、X,(2)、X,《3) 
分 别 依次 表示 t 时 刻 在 液体 中 4、B、 刁 的 分 子 数 ， 又 设 io、izo、iao (之 0) 分 别 依 次 表示 初 
始 时 刻 (=0)4、B.B 的 分 子 数 ， 即 六, CD) 二 io、 Xo(2) 一 Do、 Xo(3) 一 vo， 容易 看 出 : 
XAI)=io—X(3), XA(2)=i—X(3), 

我 们 最 关心 的 是 生成 物 的 分 子 数 X63), 地 0。 令 p60) = P(X(3) = j) ,加 ==0,1,…， 
nm， mn 一 min《iro, io)， 即 2 人为 生成 物 忆 在 时 刻 上 有 为 个 分 子 的 概率 .根据 已 有 的 实践 知识 ， 
可 作 下 列 假定 : 

(i) 在 时 刻 18 已 含有 个 分 子 的 条 件 下 ,在 (t,t 十 A) 时 间 区 间 内 生成 物 忆 增加 一 个 
分 子 ， 即 任何 一 个 4 的 分 子 与 任何 一 个 8 的 分 子 发 生 一 次 碰撞 的 概率 为 Xin 一 j3) (joo 


”AT Hy 
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— ja)At + oAt) 3 
(ii) 在 G4,t 十 At) 时 间 区 间 内 生成 二 个 或 二 个 以 上 分子 的 概率 为 o(AL) ， 
(ii) 在 Gt 十 以 ) 时 间 区 间 内 没有 召 分 子 生成 的 概率 为 1 一 Xi 一 j3) (Cizo 一 js) 
十 o(At) 。 
记 1 一 Cio 一 略 ) (izo 一 各) ， 因 =0，1，…， 刀 。 利 用 概率 的 性 质 可 得 : 
pit A) = [1 — WON] pC0) + Hjs — DAt pilt) + oAt), (145) 
用 At 除 式 (145) 的 两 边 ， 并 令 A 一 0+ 便 得 差分 微分 方程 组 : 


a 一 A[#Cjs 一 Dp-i() 一 hj3)p;, (0) ]， ja = 1 ,ny 
t 
(146) 
Le 一 一 Md), 
初始 条 件 应 为 
(0) = 人 0 (147) 
Wo, = 1 me 
利用 拉 普 拉 斯 变换 与 反 变换 方法 解 方程 组 (146)， 得 到 满足 初始 条 件 式 (147) 的 解 为 
ue TT 0 1 
了 一 ee [ITee] I si ] 
0&jECj 
入 二 0,1 和 om 0。 (148) 
记 MQ) 为 上 时 刻 生 成 物 互 中 分 子 数 的 期 望 值 ， 即 
M(t) = BX(3) = >) jpa lt), (149) 
= 


先 建立 M(i) 所 满足 的 微分 方程 , 然后 略 去 影响 很 小 的 项 而 得 到 它 的 简化 近似 方程 组 , 并 求 
得 近似 解 : 


-Mio 一 @™ M20t 


M({) = 一 一 tt 之 0 《150) 
一 4 1 A—iont 
一 一 10 一 一 一 6 20 
310 220 
对 于 小 的 上 ! 值 , MC) 近似 为 io ioo t+， 而 对 i->oo 时 有 . 
lim M(t) = min(iioyizo) 。 《151) 


关于 式 (148)、(150)、(151) 的 推导 与 论述 参看 文献 [43]。 
例 27 许多 化 学 工艺 过 程 如 石油 的 热烈 、 高 能 燃料 的 燃烧 等 都 与 一 种 更 为 复杂 的 化 学 
反应 ， 即 链 式 反 应 有 关 。 现 在 考虑 一 种 可 用 下 列 反应 形式 来 描述 的 直 链 反应 : 


i 


Gi) S—A, } 链 的 发 生 
Cii) A+R>B+P, 

卫 } 链 的 增长 
(ii) B 十 S 一 4 十 1。 


其 中 , 第 G) 步 表 示 反 应 物 8 通过 一 级 反应 生成 一 个 活化 分 子 4; 第 (ii) 步 表示 4 与 反应 
物 的 二 级 反应 ， 生 成 一 个 活化 分 子 了 和 生成 物 Pr; 第 省 ) 步 表 示 活 化 分 子 B 与 8 的 二 
级 反应 , 产生 活化 分 子 4 和 一 个 情 性 物质 1 、 心 、 忆 分 别 是 第 (i)、Gi)、(iili) 步 的 反应 速 
率 。 
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我 们 最 关注 的 是 活化 分 子 4、8 及 反应 物 户 在 整个 化 学 反应 过 程 中 的 变化 .用 XC1)、 
XC2)、X《3》 分 别 依次 表示 在 上 时 刻 4、B3、 疡 各自 的 分 子 数 ， 记 
hj 一 PXICL) = jh, XA(2) 一 六 X33) = 为 )， 

即 在 时刻 4、B3、 疡 各 自 的 分 子 数 分 别 依次 为 六 、 户 、 加 的 概率 。 又 令 s、 7 分 别 依次 表示 二 0 
时 S、& 的 分 子 数 .为 了 要 导出 描述 这 种 直 链 反应 历程 的 微分 方程 组 ， 必 须要 考虑 在 时 间 区 
间 Gt 十 A) 内 (CC1) ,XC2) ,XA3)) 到 (X+wCI1)，X+u2)， XeraC3)) 的 转移 ， 从 状态 (7， 
入 ,及 ) 到 其 它 状态 的 可 能 转移 , 以 及 从 其 它 状态 到 (站 ,六 ,和 ) 的 转移 。 先 给 出 从 (73 到 
其 它 状态 的 转移 的 相应 概率 ， 

CG) P{(Cjiyf)js) > CN 二 1,7,j3)} 

= ki(s— ji ~ jo)A 十 o(CAi)， 
(ii) P{(j, ja, js) 一 《入 一 1 ，72 十 1 ,7 十 1)} 


(152) 

= klr 一 ja 十 ofAi) ， 

Ci) Pl, js) > (N+ 1,7 OO— 1,7)) 
= ks C—O— j2)jadt 十 oCAL) 。 

又 从 其 它 状 态 到 状态 (j1 ,和 5, 加) 转移 的 相应 概率 为 

(i) PI 一 1 ,7,73) 全 《六 » 2 ,73)} 
一 如 (SS 一 方 十 1 一 和 AL 十 o(At)， 

Qi) P(( 十 1 一 且 放 一 1 一 (7 为 )) (153) 


= kr oh 二 D+ DA + oA), 
Ciii) P{(i 一 1 和 十 1,/j3) 一 (js ja9 73)} 
= ks(sC— 六 一 jz2) Cj2 十 1DAt 十 o(AL)。 
利用 式 C152)、(153) 可 以 建立 (14,j2, 有 3) 所 满足 的 微分 方程 组 
Se) 一 kls 一 和 十 1— jz2) pl 一 1 , 72,73) — kls— jt 一 jz2) pj 2 Js》 
十 心 (7 一 ja 十 1) (7 十 1) pC 十 l,j — 1,)s 一 1) 一 ay 一 ja) jp di, Sz, 73) 
二 bls C—O Jj2)Cj 二 T+ DpCji 1, 二 1,j3) — ka(s Oo— No— Jj)joh(j, jjs)。 
(154) 
现在 定义 {p (j1, Nh， 入 )} 的 母 函 数 ， 
Crazymayaa) 一 >， Pjis ja ja) zh zh (155) 


jrjorjs™=0 
并 建立 这 个 母 函 数 所 满足 的 微分 方程 ， 然 后 解 此 方程 可 得 : 
ahis[ ksszl 十 〈akss 十 tar 十 as)zz] | gare 
kas(a 一 1)(2akss 十 kzr — ks) 
十 kis(zi 一 Gz2) (kasa 十 lay 一 Kas) 
(2akss 十 py — kas) Caksas + kz2r) 
x 图 | eartatys)s) kist。 (156) 
其 中 ，a 是 方程 网 十 《kzr 一 ks/kas)y 一 《kzr/kas)zs 二 0 的 正 根 。 
显然 ,要 从 母 函 数 CCzlyzzyza) 的 表达 式 (156) 得 出 PC 7 ,js) 的 显 表达 式 是 很 困难 的 。 
但 是 可 以 借助 母 函 数 求 得 上 时刻 4、8、P; 分 子 数 的 期 望 值 ， 即 


log G (zzzyzs) 一 — 1) 
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9 log Ci 人 zi y22y23) 
O23 2 一 2 一 7 


一 lt 十 do 一 由 (1 一 er+t2) ， 《157) 


如 M(3,1) = ， 
其 中 


kisCk2r)? 1, = kakars’ ds = Ks Char)? 
(R27 + Las)i “， 2Cbr + bas) ” (Br 十 4ss)35。 


类 似 地 还 可 以 求 得 W(1,5 与 M(2,t) 的 表达 式 。 
有 关 马 氏 过 程 在 化 学 中 应 用 的 更 为 详细 的 论述 可 参阅 文献 [43]、[55]。 


$6 马尔 科 夫 链 在 地 质 学 中 的 应 用 


目前 在 国内 外 应 用 马 氏 链 对 地 层 序列 进行 分 析 已 有 一 套 比 较 完整 的 方法 .而 且 马 氏 过 
程 分 析 方 法 正在 更 加 广泛 地 被 应 用 到 地 质 科 学 的 许多 研究 问题 之 中 。 

在 地 球 表 面 岩 石 的 成 份 、 结构 、 颜 色 等 性 质 沿 垂直 方向 上 的 变化 形成 为 层 状 构造 。 根 据 
沉积 层 的 观测 特征 可 以 分 析 推 断 沉积 过 程 ， 这 有 助 于 查 明 地 层 的 形成 和 分 布 规律 ， 为 科学 
研究 与 探寻 有 用 的 矿物 和 矿床 评价 提供 可 靠 的 依据 。 在 地 层 剖面 上 岩 相 的 变化 常常 只 与 前 
一 层 中 岩 相 的 变化 有 关 ，, 而 与 更 前 边 的 地 层 无 关 。 即 具有 无 后 效 性 , 因此 使 用 马 氏 链 这 一 数 
学 工具 是 很 适宜 的 。 本 节 将 借助 文献 [56] 中 的 若干 实例 作 一 简要 介绍 。 

例 28 一 地 层 剖 面 有 五 种 岩 性 的 沉积 序列 如 图 2 所 示 ， 其 中 各 个 字母 所 表示 的 岩 性 是 

4; 砂岩 ， B: 石灰 岩 ， 0: 页 岩 ; D: 煤 ; Bb: 泥岩 。 

这 五 种 相互 排斥 的 岩 性 将 此 地 表层 垂直 地 划分 为 如 图 2 所 示 的 44 层 。 如 果 将 每 一 种 岩 性 看 作 
是 一 个 状态 ， 那 么 在 状态 即 岩 性 沿 垂直 方向 的 转移 过 程 中 ， 每 一 个 状态 只 与 它 的 前 一 个 状 
态 有 关 。 由 图 2 的 剖面 上 各 状态 上 下 排 成 的 序列 知 ， 状态 之 间 的 具体 转移 频数 矩阵 为 


di = 


A BCDE 行 上 的 总 和 
4[ 043109 8 
BI 10340 8 
Cl 1 00 52 3 
D| 5 1 1 0 5 12 
B| 1 3 120 7 


这 个 矩阵 显示 出 图 2 中 的 沉积 序列 里 各 种 岩 性 之 间 相 互 转移 的 规则 或 倾向 。 现 在 将 气 阵 中 的 
每 个 元 素 用 它 所 在 行 上 元 素 之 总 和 来 除 ， 即 得 相应 的 转移 概率 卸 阵 
4 B C D E. 
0 0.50 0.37 0.13 0 
0.13 0 0.37 0.50 0 
0.13 0 0 0.62 0.25 |。 (158) 
0.42 0.08 0.08 0 0. 42 
BL 0.14 0.42 0.14 0.30 0 

在 研究 与 分 析 该 地 层 时 ， 转 移 和 矩阵 (158) 说 明 这 五 种 岩 性 之 间 的 可 能 转移 及 定量 规律 。 
例 28 是 按 岩 性 自然 分 层 的 ,因此 转移 矩阵 的 主 对 角 线 上 所 有 元 素 都 为 零 ,如 果 按 某 单 位 长 度 
等 间距 分 层 ， 那 么 情况 就 不 同 了 ,如 图 3 所 示 的 是 由 四 种 岩 性 : 4、8、C、D 按 等 间距 分 层 而 


OH» 
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下 FF 


图 2 五 状态 沉积 序列 柱状 图 图 3 等 间距 分 层 四 状态 沉积 序列 图 
组 成 的 垂直 方向 剖面 图 .相应 的 转移 频数 撼 阵 与 转移 概率 矩阵 分 别 依次 为 
A BC DD A B Cc D 
Ar 6 211 4 0.60 0.20 0.10 0.10 
B 2 .7 1 0 B 0.20 0.70 0.10 0 
C 00 2 2 0 0 0 0. 50 0.50 
DL 20014 DL 0.33 0 0 0.67 J 


容易 看 出 ， 当 岩层 的 平均 厚度 比 采 样 定 间距 大 得 很 多 时 ， 对 角 线 上 的 元 素 即 从 一 状态 转移 
到 自身 状态 的 概率 就 会 变 得 较 大 ,致使 从 该 状态 转移 到 其 它 别 的 状态 的 概率 相对 地 变 小 。 所 
以 转移 概率 矩阵 中 主 对 角 线 上 的 元 素 较 大 时 ， 反 了 映 出 岩层 的 厚度 也 较 大 。 

例 29 吉林 省 某 地 下 石炭 统 鹿 轿 屯 组 的 两 个 地 层 训 面 1 与 I 的 洗 性 转移 频数 矩阵 
N(1) 与 NC(I ) 分 别 依次 为 
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剖面 工 的 NI) 剖面 工 的 NI) 
A BC DEG F A BGD EE H 
4[ 000 100 AF 000010 
B| 001310 B| 001100 
o| 1 10200 oe| 000010 
D| 033003 | D| 1000 31 
G| 000 100 El| 010400 
FL 000300 HL 000 1 900 
其 中 各 字母 代表 的 岩 性 如 下 : 
4: 含 砾 细 怕 珍 岩 ; ， 细 碧 珍 内; 
23: 石英 角 斑 岩 ; | 了 : 细 碧 珍 岩 凝 灰 熔 岩 ? 
C: 细 碧 珍 岩 凝 灰 岩 ; C: 凝 灰质 砂岩 ， 
D， 角 斑 质 凝 灰 岩 ， 五 ,大理 崇 。 


应 当 指 出 ; 若 在 原 地 屋 柱 状 图 最 底层 (或 最 顶层 ) 的 岩层 在 整个 地 层 齐 面 中 只 出 现 一 次 ， 
那么 在 相应 的 马 氏 链 中 对 应 的 状态 只 能 转 出 或 转 入 ) 而 不 能 转 入 (或 转 出 ) ， 在 相应 的 转移 
频数 矩阵 中 对 应 于 该 状态 的 列 ( 或 行 ) 上 的 元 素 全 为 零 ， 这 种 状态 及 它 所 对 应 的 岩层 可 以 剔 
除 不 予 考 虑 。NCI) 与 YXCE) 正 是 经 过 这 样 的 剔除 处 理 之 后 而 得 到 的 转移 频数 和 矩阵， 由 
NI).NCI) 可 得 相应 的 转移 概率 矩阵 PCI)、P( 1 ); 

剖面 I 的 PC(1I) 剖面 【的 PCI) 


A B C D G Fr A B G D FA H 
4Ar0 0 0 1 0 0 4f0 0 0 0 1 0 
Blo 0 0.2 0.6 0.2 0 Blo0o 0 0.5 0.5 0 0 
C10.25 0.25 0 0.5 0 0 GI0 0 0 0 1 0 
pilo 0.33 0.33 0 0 0.34 DI0.2 0 0 0 0.6 0.2|° 
cio 0 0 1 0 0 .Bo 0.2 0 0.8 0 0 
FL0 0 0 1 0 0 Hl0O 0 0 1 0 0 


由 训 面 1 的 N (I) 及 P(1) 知 : 从 各 种 岩 性 状态 转移 到 角 斑 质 凝 灰 岩 D 状态 的 总 频 | 
数 为 10 是 最 大 的 , 概率 也 是 最 大 的 , 转移 的 趋势 最 明显 .计算 PCI ) 的 不 低 于 18 次 的 短 先 阵 
可 得 : 对 正 整数 "之 18， 

PCI)= [1,1,1,1,1,1][0.04,0.18,0.18,0.42,0.04,0.14], 
即 [0. 04,0. 18,0.18,0. 42,0. 04,0. 34] 是 相应 马 氏 链 的 平稳 分 布 ， 它 反映 了 4、B、C、D、 
CC、 下 各 种 岩 性 在 整个 剖面 I 的 总 量 中 依次 所 占 比 例 数 的 估计 ,如 角 斑 质 凝 灰 岩 约 占 全 前 面 
1 的 42%， 远 远 超过 其 它 各 岩 性 所 占 的 比例 数 . 它 居于 主导 地 位 。 

类 似 地 ,由 剖面 1 的 NCL) 及 P(I) 知 : 从 各 种 岩 性 状态 转移 到 角 斑 质 凝 灰 岩 D 状态 . 
的 总 频数 是 最 大 的 , 从 总 体 上 相 比 转移 概率 也 是 属于 最 大 之 例 , 转移 趋势 也 是 较 明显 的 。 计 
算 PCI) 的 不 低 于 13 次 的 短 和 矩阵 可 得 :对 正 整 数 "之 13， 

PCIY = [1,1,1,1,1,1]F0.08,0.07,0.03,0.39,0.35,0.08]。 
即 [0. 08,0. 07,0. 03,0.39,0.35,0.08] 是 相应 马 氏 链 的 平稳 分 布 ， 它 反映 出 角 斑 质 凝 灰 岩 
约 占 全 剖面 了 的 39%, 居 主 导 地 位 。 其 次 是 细 眉 珍 岩 约 占 全 剖面 工 的 35%, 因此 和 角 斑 质 凝 灰 


242 马尔 科 夫 链 基 础 及 其 应 用 


岩 在 剖面 I 与 工 中 皆 占 主导 地 位 ， 从 量 上 看 这 两 个 剖面 有 一 定 的 相似 性 。 

例 30 设 某 地 层 训 面 的 一 部 分 如 图 4 所 示 ， 整 个 地 层 前 面 由 记 为 
4、5、C,、D 的 四 种 岩 性 所 构成 。 注 意 考 察 图 4 的 地 层 剖面 ， 发 现 其 中 4 
一 BC 和 4 一 六 ~C 的 转移 格式 多 次 重复 出 现 ， 于 是 引起 了 我 们 的 思 
考 或 问题 , 其 中 的 两 个 状态 5 与 D 有 何 地 质 上 的 联系 ?在 沉积 过 程 中 8B 
与 了 是否 可 以 相互 代替 ?可 代替 的 地 质 依据 是 什么 ?相应 的 转移 概率 
矩阵 中 对 应 于 状态 8 与 D 的 两 行 或 两 列 之 间 是 否 具 有 某 种 相似 性 ?为 
此 ,需要 先 给 出 有 关 相 似 性 的 概念 ,假设 地 层 序 列 中 向 上 的 状态 转移 是 
顺 着 从 底层 到 顶层 来 考虑 的 。 现 在 引出 一 般 转 移 概 率 和 矩阵 中 各 行 之 间 
的 相似 性 度量 . 设 P= [zj] 是 具有 六 个 状态 {(E，2，…， 交 的 (向 上 
的 ?转移 概率 和 矩阵， 定义 

Dp Djt 


Li; 一 一 和 二 一 一 一 ， 2 7 一 1 2 V。 (158) 


N y 
2 及 
二 一 k=l 


从 了 郊 何 上 看 ， 当 X=2 时 ， 忆 就 是 两 个 长 度 为 1 的 行 向 量 加 | 办 3 


2 

2 9 
pit 

Ke=i 


Pa/ a 与 WAR pa/ | 的 夹 角 余弦 ， 一 者 在 
另 一 者 上 的 投影 ， 世 反映 了 状态 ;与 状态 ;之 间 在 具有 同一 后 继 状 态 
的 倾向 上 的 相似 程度 ， 若 记 艺 为 YX 和 矩阵 


Lu Zn ** iy 图 4 四 状态 沉积 序 
La Lz ‘Lz 列 柱状 图 片断 
L= 21 22 2N ， C159) 
wt Ly 1 Lyy 
显然 
Li= 1, 0<Lje1, Lij;= Li iyj= 1,2,%No (160) 


的 数值 越 高 表明 在 地 层 序 列 中 状态 ; 与 ;将 以 较 大 的 概率 有 公共 的 后 继 ( 或 说 居于 上 边 
的 ) 状 态 。 . 

对 称 地 , 在 地 层 序列 中 还 可 以 考虑 顺 着 从 顶 雇 到 底层 的 向 下 的 状态 转移 ,车 记 @ = [gs] 
是 具有 人 N 个 状态 {1，2，…，NW} 的 (向 下 的 ) 转 移 概 率 和 矩阵 ， 为 衡量 8 中 各 列 之 间 的 相似 程 
度 ， 定义 


~ 
We 
>) gu Qsj 
R, = t=l1 


NY 4 : 
pT 
: + 一 1 上 一 1 


R; = 1 ， 0 委 肪 委 1， Bi; = Riy ti 7 二 1,2,:" V。 (162) 
NXN 矩阵 RR 二 [Rj] 的 意义 与 上 是 完全 类 同 对 称 的 。 


ij 一 1 2 (161) 


显然 
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此 外 ， 再 定义 ， 

Cj= LyRys bj= 1,2,%N, C= [Cy]。 (163) 
”显然 

Gi=1, 0&1l, GO=C0, j= 1,2,,N, (164) 
CG; 的 数值 描述 了 状态 i 与 状态 ; 的 相似 程度 ， 显 示 出 ;与 了 的 一 种 公共 的 前 后 关系 。 
如 果 关 于 图 4 的 完整 地 层 序 列 的 转移 频数 矩阵 及 相应 的 (向 上 ) 转 移 概 率 和 矩阵 P 分 别 依 


次 为 
A B 0 D 行 上 和 A B C 万 
4r0 11 2 10 23 4T0 0.48 0.09 0.43 
BIl4 0 13 3 20 _Bl0.2 0 0.65 0.15 
cll4 6 0 9 29 ” clo0.48 0.21 0 0.31| 3) 
DL4 3 15 0 22 Dl0.18 0.14 0.68 0 
利用 式 (158) 算 得 
4 B C0 Dp 
4fl 0.27 0.6 0.25 
BI0.27 1 0. 34 0.96 
工 一 ， (166) 


Cl0.6 0.34 1 0. 27 
DL0.25 0.96 0.27 1 
在 工 中 Los=0.96， 数 值 很 高 ,这 表明 一 种 强 的 倾向 即 D 与 3 两 个 状态 常 有 同样 的 后 继 状 
态 . 又 Lm 二 0.25， 数 值 较 低 ， 这 表明 状态 D 与 4 常 有 不 同 的 后 继 状 态 。 
仍 由 式 (165) 中 的 转移 频数 矩阵 可 算出 相应 的 (向 下 ) 转 移 概 率 和 矩阵 8 


A B CC D 4 B C D 
4 0 11 2 10 4 0.55 0.07 0.45 
B 4 0 13 3 Bl0.18 0 0.43 0.14 
， 一 。(167) 
Cc| 14 6 0 9 Cl0.64 0.3 0 0. 41 
D 4 3 15 0 DL0.18 0.15 0.5 0 
列 上 和 22 20 30 22 
再 由 式 (161) 及 式 (163) 得 . 
A B C D A B C Dp 
AF 1 0.49 0.37 0.63 ATl 0.13 0.22 0.16 
R 8 0.49 1 0.27 0.94 _BI0.13 1 0.09 0.9 
Cl 0.37 0.27 1 0. 21 Cl0.22 0.09 1 0.06| 
DL 0.63 0.94 0.21 1 DL0,16 0.9 0.06 1 
(168) 


利用 式 (166)、 式 (168)L、R、C 中 各 元 素数 值 所 表示 的 状态 之 间 相 似 性 程度 的 大 小 顺 
疗 ， 联 结 各 有 关 的 状态 可 作出 如 下 的 谱系 图 : 

从 图 5 中 的 三 个 谱系 图 明显 地 看 出 : 状态 与 D 是 密切 相关 的 , 它们 往往 有 共同 的 居 前 
和 继 后 状态 4 与 C。 在 地 层 序 列 分 析 中 , 如 果 能 作出 一 个 系统 状态 的 完整 的 或 比较 完整 的 谱 
系 图 ， 它 常常 成 为 野外 或 室内 研究 新 问题 的 出 发 点 。 
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和 
相 
似 
性 

0. 5 

0 L R C 


图 5 谱系 图 
例 31 某 沉 积 盆 地 的 沉积 剖面 由 下 列 六 种 岩 性 构成 : CH( 烂 石 );)，LS (石灰 岩 )，SH( 页 
岩 )，SS( 砂 涯 )，GS( 绿 石 )，PM( 孵 石 泥 岩 )。 根 据 采 样 数据 可 得 转移 频数 矩阵 


恨 兴 


了 一 上 


CH LS SH SS GS PM 行 上 总 和 
CH 0 13 189 26 89 3 320 
LS 12 0 6 1 20 0 39 
SH| 193 7 0 77 151 6 434 
SS 19 1 91 0 8 21 121 
GS 86 21 154 15 0 2 278 
PM 2 0 5 2 2 0 11 
列 上 总 和 312 42 445 121 270 13 
相应 的 岩 性 向 上 转移 概率 和 矩 阵 P 为 
cH IS SH, SS GS PM 
CCHF 0 0.04 0.59 0.08 0.28 0.01 
LS |0.31 0 0.15 0.03 0.51 0 
SH|0.44 0.02 0 0.18 0.35 0.01 
P= ， (169) 
SS |0.16 0.01 0.75 0 0.07 0.02 
GS|0.31 0.08 0.55 0.05 0 0. 01 
PMI0.18 0 0.45 0.18 0.18 0 
相应 的 岩 性 向 下 转移 概率 矩阵 @ 为 
CH LS SH SS GS PM 
CH [0 0.31 0.42 0.21 0.33 0.23 
LS |0.04 0 0.01 0.01 0.07 0 
0 SH 0.62 0.17 0 0.64 0.56 0.46| 170) 
SS 10.07 0.02 0.20 0 0.03 0.15 
GS|0.28 0.5 70.35 0.12 0 0.15 
PMI0.01 0 0.01 0.02 0.01 0 
对 PP 定义 如 下 的 蚁 组 ， 即 向 上 转移 的 炉 组 : 
Hi 一 Spolog py = 1,2,.,6, (171) 


若 Hf" 一 0, 在 规定 “0.oo 一 0” 之 下 , 那么 必定 是 pj 二 1,，2，…,6 中 之 一 为 1, 其 
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余 皆 为 零 , 这 表示 状态 i 行使 着 一 种 确定 性 影响 控制 了 它 的 后 继 状 态 的 选择 , 即 状态 i 总 转 
移 到 一 个 确定 的 状态 。 若 Hf”* 较 小 ， 这 可 解释 为 状态 i 具有 较 强 的 记忆 力 ， 而 且 这 种 记忆 
力 是 随 着 Hf 的 减 小 而 逐渐 增强 的 。 若 如 mo 较 大 ， 这 表明 状态 站 的 记忆 力 较 弱 ， 模 糊 不 
清 . 因 而 有 较 多 的 状态 可 以 作为 i 的 后 继 状 态 。 

类 似 地 ， 对 8 可 以 对 称 地 定义 向 下 转移 的 粹 组 。 


HP 一 一 Dy gilog Qi, 一 1 2 6。 (172) 
j=l1 


对 有 ee” 等于零、 较 小 、 较 大 等 各 种 情况 , 可 以 类 似 于 Be 作出 对 称 的 解释 。 如 果 综 合 地 同 
时 考查 Hfr" 与 Hf ， 那 么 它们 作为 描述 状态 i 出 现 以 后 和 出 现 以 前 相 衔接 的 岩 性 转移 多 
样 性 的 指标 是 很 适宜 的 ,车 Ht" >>Hf*, 则 表明 状态 i 的 继 后 岩 性 比 i 的 居 前 岩 性 出 现 有 更 
多 的 确定 性 ， 反之， 车 Hf*"* 必 Hf**， 则 表明 状态 i 对 它 的 居 前 岩 性 的 依赖 性 比 i 影响 于 继 
后 岩 性 更 强 。 

利用 式 (169)、(C170) 所 得 的 具体 数据 ， 依 公式 (171)、(172) 计 算 可 得 下 面 的 炳 组 表 与 
炉 相关 图 。 


表 10 ” 灶 组 表 


忆 (post) 


图 6 粹 相关 图 
从 表 10 与 图 6 可 以 看 出 : 对 卵石 泥岩 PM 而 言 ， 相 比 之 下 五 ge" 与 Hf 都 是 最 大 的 ， 因 而 卵 
石 泥岩 流入 盆地 是 最 随机 的 或 最 不 确定 的 事件 ; 对 于 砂岩 SS 而 言 , 相 比 之 下 A999 与 有 ee 
都 是 最 小 的 ， 而 且 Hi? 之 五， 因而 对 它 的 后 继 状 态 的 选择 影响 是 较 强 的 。 
事实 表明 粹 组 与 岩 性 的 旋回 沉积 也 有 着 较 强 的 联系 .总 之 烂 的 概念 对 崇 性 分 析 是 很 有 
用 的 。 . 
在 地 层 沉积 的 分 析 中 ,除了 上 面 已 考察 的 岩 性 沿 垂 直方 向 的 变化 转移 规律 即 层 理 之 外 ， 
还 应 考察 因 沉积 机 制作 用 所 确定 的 沉积 物 的 总 量 ， 即 每 种 岩层 的 厚度 ， 进 而 需要 建立 同时 
综合 考察 层 理 与 厚度 两 者 的 数学 模型 ， 这 便 引 入 了 半 马 尔 科 夫 链 沉积 模型 ， 下 面 将 给 出 半 
马尔 科 夫 链 的 数学 定义 。 
设 2= (az 一 0,1,…} 是 取 值 于 3 一 (0,1，…… 六 )} 中 的 随机 变量 序列 ,又 ?= {7.,n 二 0,1， 
…} 是 取 值 于 [0,se) 中 的 随机 变量 序列 , 而 且 0 王 Te 委 2 委 7 委 …， 称 随 机 序列 (2,7) 一 ((z， 
7,),n 一 0,1,…}) 为 状态 空间 Ss 上 的 马尔 科 夫 更 新 序列 ， 如 果 对 任何 n=0, 1, '*, jES, t>0 
都 有 1 
Plat1) = j,Tapi 一 人 Eto Lio, To Ti ,T,) 
= Pr = ji Tr TQEZ,), (173) 
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又 如 果 对 任何 1, JES， 过 0， . 
Qy(t) = P(Z 一 7T — T, Et = 《174) 

都 与 a 无关， 则 称 此 CZ,7) 是 齐 次 的 。 称 此 {8; (4),i,jE 5S) 为 半 马 尔 科 夫 核 ,显然 ， 由 式 
(174)， 这 时 有 
lim Q(t) 一 P(Z. = j|Z = =p i,IjES, 《175) 
并 有 以 下 重要 的 结论 吗 ] 。 

定理 11 车 (2,T) 是 齐 次 马尔 科 夫 更 新 序列 , 则 {2.,a 一 0,1,…} 是 状态 空间 8 上 具有 转 
移 概率 矩阵 [zw] 的 齐 次 马 氏 链 。 

定理 12 若 (Z,7) 是 齐 次 马尔 科 夫 更 新 序列 ， 对 任何 i，jE€E5，t 字 0， 记 


Q(t) . 。 
一 一 一 一 PT。 有 一 了 委 :! 么 一 2 1 一 9 0， 
Gy(t) = | 7 + [bon p> (176) 
1， Pi 一 0。 
则 对 任意 的 正 整 数 n 及 任意 的 ti, i， “ey 4 之 0 有 


POTI— To T, ~ Ti CE | 2 2 ) 一 Gaga (&1) Gs a, Ca) Gs Ch)o 《177) 
即 在 给 定 马 氏 链 {z ,n=0,1,… } 的 条 件 下 ， 增 量 人 一 TO， Ts—Ti, … 条 件 独 立 ， 而 且 T+ 7, 
的 分 布 只 依赖 于 乞 和 +1。 

对 任何 芝 0， 若 令 

X, = Z,, 当 7T, 过 1 之 T7411 时 ， (178) 

则 称 些 {X.,t 宕 0) 是 与 马尔 科 夫 更 新 序列 (Z,T) 相 联系 的 半 马 尔 科 夫 链 。X, 可 以 看 成 是 该 链 
在 时 刻 i 所 处 的 状态 ， 且 在 时 刻 7,，7z，… 发 生 状 态 转 移 ， 在 也 时 刻 转 入 状态 和 ， 在 状态 
Zz 上 的 到 留 时 间 长 为 ZT,+1 一 7,, 在 马 氏 链 中 , 在 每 个 状态 上 的 逗留 时 间 服 从 指数 分 布 .在 半 
马 氏 链 的 情形 下 ， 逗 留 时 间 的 分 布 是 一 般 分 布 。 当 所 有 的 G0) 都 是 指数 分 布 时 ， 那 么 半 马 
氏 链 就 成 为 马 氏 链 。 马 氏 链 在 任 一 时 刻 上 处 都 具有 马 氏 性 , 而 半 马 氏 链 只 有 在 状态 转移 时 刻 
(常常 是 随机 的 ) 才 具有 马 氏 性 。 

若 用 (zo,z1，,…} 表 示 崇 性 沿 垂直 方向 的 变化 转移 ， 用 7.41 一 7 表示 岩 性 为 么 的 岩层 厚 
度 。 那 么 半 马 氏 链 {X.,t 宇 0} 便 是 描述 一 般 沉积 过 程 的 恰当 模型 ,关于 半 马 氏 链 的 理论 与 在 
地 质 学 中 应 用 的 详细 介绍 参看 专著 [51]、[56]。 尤 其 是 在 [56] 中 给 出 了 许多 国内 外 的 研 
究 实 例 ， 它 们 在 理论 与 方法 的 应 用 上 都 具有 和 较 高 的 参考 价值 。 

此 外 ,值得 指出 的 是 马尔 科 夫 过 程 在 地 震 烈度 的 计算 、 中 短期 地 震 预报 方法 及 评价 各 
种 预报 方法 的 有 效 性 上 也 都 得 到 了 有 效 的 应 用 , 并 在 实际 的 地 震 预报 中 , 如 1976 年 8 月 19 日 
四 川 松潘 大 地 震 之 前 ， 取 得 了 较 准 确 的 预报 效果 .有 关 这 方面 的 工作 已 收集 在 [57]、[53]、 
[59]、[60] 这 组 文献 之 中 。 当 我 们 已 知 上 次 发 生 大 地 震 以 来 距 今 已 有 时 间 为 7, 年 的 间 黑 , 现 
在 要 预测 今后 了 年 内 会 发 生 大 地 震 的 可 能 性 即 概率 是 多 少 ?为 了 回答 这 个 问题 ， 如 果 采 用 
齐 次 马尔 科 夫 模型 ， 即 认为 今后 了 年 内 发 生 大 地 震 的 概率 仅 与 了 值 有 关 ， 而 与 上 次 大 地 震 
至 今 的 时 间 7 年 无 关 , 这 样 假设 是 粗糙 的 与 实际 情况 不 太 相 符 的 。 事 实 上 , 因为 大 地 震 的 孕 
育 是 一 种 应 变 能 的 积累 过 程 ， 一 般 随 着 7o 值 的 增 大 ， 应 变 能 的 积累 也 会 逐渐 增 大 ， 所 以 在 
(To。，To 十 7?) 年 内 发 生 大 地 震 的 概率 不 是 一 个 与 76 无 关 的 常数 ， 一 般 应 该 是 随 To 值 的 增 大 
而 增 大 的 ,从 而 采用 非 齐 次 马 氏 链 作 为 模型 是 较 切 合 实际 的 。 当 然 非 齐 次 模型 比 齐 次 模型 更 
加 复杂 。 对 于 非 齐 次 马 氏 链 模 型 的 具体 预测 方法 ,该 方法 的 假设 前 提 与 理论 依据 等 可 参看 文 
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献 [60]。 本 书 不 再 介绍 。 

虽然 本 章 从 多 篇 文献 中 收集 整理 的 这 些 例 子 涉及 到 多 种 应 用 领域 ， 然 而 这 仍然 是 一 鳞 
半 乐 极 不 全 面 的 , 其实 马 氏 过 程 在 天 文学 、 天 体 物 理学 、 气 象 学 、 自 动 控制 、 随 机 振动 、 通 
信 理 论 、 随 机 数字 信和 号 处 理 中 , 甚至 在 社会 科学 如 心理 学 、 教 育 学 中 都 能 找到 它 的 应 用 .这 
说 明了 马 氏 过 程 的 应 用 确实 是 相当 广泛 的 。 ， 

随 着 科学 技术 的 发 展 ， 实 际 应 用 不 断 提 出 需要 ， 马 氏 过 程 也 在 相应 地 演变 与 深化 ， 或 
者 进行 各 种 推广 ， 或 者 派生 出 其 它 马 氏 过 程 的 变形 ， 以 便 能 够 更 加 逼真 地 刻画 所 研究 的 客 
观 现象 . 壁 如 从 单 指标 马 氏 过 程 扩展 到 多 指标 马 氏 过 程 的 研究 ,不 仅 是 数学 理论 本 身 的 自然 
发 展 与 深化 ， 更 主要 的 是 为 了 满足 实际 应 用 的 需求 ， 众 所 周知 ， 两 指标 马 氏 过 程 在 定量 描 
术 图 像 信 息 、 建 立 它 的 数学 模型 、 研 究 图 像 随 着 空间 位 置 或 时 间 的 变化 特性 时 ， 都 是 有 力 
的 数学 工具 (参见 文献 [61]、[62])。 又 如 马尔 科 夫 更 新 序列 与 半 马 尔 科 夫 链 , 它们 作为 马 
尔 科 去 链 的 变形 在 可 千 福 问题 中 有 着 重要 的 应 用 。 再 如 在 诺言 或 汉字 识别 中 获得 了 有 效应 
用 的 隐 马 尔 科 夫 模型 (参看 文献 [63]、[64 ]、[65]) 也 可 以 看 成 是 一 种 马 氏 链 模型 的 变形 .总 
之 ,现实 世界 提出 的 越 来 越 多 越 来 越 高 的 要 求 必 将 推进 马 氏 过 程 理论 的 不 断 发 展 与 扩充 ,从 
而 马 氏 过 程 的 应 用 范围 将 随 之 越 来 越 广 ， 其 作用 也 将 越 来 越 大 越 来 越 深入 。 
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内 容 索 引 


一 画 一 四 画 
一 阶 自 相 关 ~ (124) 
一 阶 ( 循 环 ) 序 列 相 关 (125) 
一 致 弱 遍 历 性 (C110) 
一 致 强 遍历 性 (116) 
下 昌 耶 坛子 模型 (104) 
马尔 科 夫 性 ( 马 氏 性 ) (2) 
马尔 科 夫 链 ( 马 氏 链 》 (2，167) 
马 氏 链 的 过 份 函数 (64) 
马尔 科 夫 矩阵 (102) 
马尔 科 夫 排队 网 络 (228) 
马尔 科 夫 更 新 序列 (245) 
分 支 过 程 (14, 202) 
分 组 马 氏 链 (136) 
互通 (17) 
不 可 分 (33) 
不 规则 的 随机 和 矩 阵 (102) 
水 库 贮 水 模型 (15) 
比例 系数 矩阵 (198) 
队长 (211) 
开 排 队 网 络 (228) 
双 分 子 化 学 反应 (236) 
切 普 曼 一 柯 尔 莫 哥 洛 夫 方 程 (C -K 方程 ) 
(6，168) 
五 画 一 六 画 
本 质 状态 (17) 
本 质 类 (33) 


正常 返 

焉 向 序列 相依 的 转移 符 阵 
可 分 的 

可 舍 度 

可 用 度 

平均 回转 时 间 
平稳 分 布 
平稳 的 增 量 

半 马 尔 科 夫 链 
半 马 尔 科 夫 核 
母 函数 
生 灭 过 程 
过 程 的 样本 
齐 次 马 氏 链 
关联 矩阵 

自 i 可 达到 3 
闭 集 

闭 包 

闭 排队 网 络 
吸收 状态 
同 质 性 检验 

负 向 序列 相依 的 转移 矩阵 
列 和 法 

忙 期 
传染 病 流行 模型 


七 功 一 八 


状态 空间 
初始 分 布 
条 件 


画 


(26) 
(133) 
(33) 
(231) 
(231) 
(2，13) 
(49) 
(186) 
(C246) 
(246) 
(89) 
(181) 
(1 
(7) 
C111) 
(17) 
(33) 
(33) 
(228) 
C33,175) 
(131) 
(133) 
(148) 
(211) 
(206) 


(1) 
(32) 
(7) 
(141) 
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利润 矩阵 (196) 
利 特 尔 公式 (222) 
杜 伯 林 公式 C20) 
库 尔 贝 克 - 莱 布 勒 信 息 函 数 (9) 
闲 期 (224) 
连续 参数 的 随机 过 程 CD 
纯 生 过 程 (181) 
纯 灭 过 程 《181) 
周期 状态 《26) 
局 期 类 (32) 
非 齐 次 马 氏 链 (7) 
非 本 质 状态 (17) 
非 本 质 类 (33) 
非常 返 状 态 〈 不 返回 的 ， 滑 过 的 状态 ) (26) 
非常 返 类 (32) 
非 周期 状态 (26) 
非 周 期 类 (32) 
空间 齐 次 的 马 氏 链 (16，168) 
单一 输入 超 状 态 (92) 
单一 输入 超 状 态 可 分 解 的 马 氏 链 (92) 
遍 莱 -哈密 顿 定理 (79) 
直接 消耗 系数 (198) 
固有 的 遍历 系数 (101) 
转移 概率 (6, 168) 
转移 概率 矩阵 (6，168) 
九 回 一 十 加 

绝对 概率 (7) 
和 矩 阵 特征 值 的 几何 重 数 与 代数 重 数 (77) 
保守 的 (177) 
柯 尔 莫 再 洛 夫 向 前 与 向 后 微分 方程 组 (177) 
标准 性 条 件 (1 

独立 的 增 其 (180, 
响应 时 间 (220，226) 
费 软 耳 信 息 了 沙 数 (124) 
样本 空间 (1) 
弦 遍 历 性 (104) 
爱 伦 菲 斯 特 模 型 (13) 
消亡 率 C181) 
消极 常 返 状态 ( 零 常 返 状态 ， 零 状态 ) (26) 
离散 参数 的 随机 过 程 (1) 
离散 骨架 (170) 


恕 留 时 间 
士 一 画 一 十 二 画 


停止 时 间 〈 停 时 ) 
第 a 次 发 生 时 间 

第 个 相继 发 生 的 间隔 时 间 
隐 马 尔 科 夫 模 型 

强 马尔 科 夫 性 
强 亡 历 性 

常 返 状 态 〈 返 回 的 ， 持 久 的 状态 ) 
常 返 类 

基本 和 矩阵 与 基本 矩阵 法 
基因 

混合 矩阵 

排队 模型 

排队 网 络 

渐 近 齐 次 马 氏 链 

渐 近 平稳 马 氏 链 
密度 矩阵 

随机 和 矩阵 

随机 徘徊 

随机 徘徊 滤波 器 

随机 服务 系统 
遍历 的 状态 

遍历 性 

遍历 矩阵 

遍历 指数 

遍历 系数 

超 状态 

等 价 

等 待 时 间 

普 阿 松 过 程 

最 优 决策 

遗传 基因 模型 


十 二 画 以 上 


群体 增长 或 消亡 模型 
概率 空间 

零 常 返 类 

聚集 状态 法 


(221) 


(9) 
《190) 
(190) 
(247) 

C10) 
《112) 
(26) 
《32) 
(155) 
(208) 
(111) 
(14，219) 
228) 
(113) 
(113) 
(175) 

. (6) 
(54, 61) 
(11) 
(210) 
(27) 
(40) 
(75) 
(75) 
(101) 
(92) 
《92) 
(210) 
(186) 
(200) 
(208) 


(202) 
(1) 
(32) 
(92) 
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谱系 图 (243) 
米 (140) 
炉 组 表 (245) 
燃 相 关 图 (245) 
增生 率 (181) 
霍华德 马尔 科 夫 序 贯 决策 (201) 
胖 时 状态 (175) 
稳定 的 随机 矩阵 (101) 
外 来 字 
KK 重 马尔 科 夫 和 链 (8) 
m 步 转移 概率 (6) 
m 步 转移 概率 矩阵 (6) 
叉 阶 公共 后 继 状 态 (145) 
Q- 算 阵 (180) 
Q - 过程 (180) 
0 代数 (1) 
了 前 事件 (10) 
7 后 事件 (10) 
zf 前 -代数 (100) 
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